VAE

この用語をシェア

VAEとは

VAE（Variational Autoencoder、変分オートエンコーダ）は、2013年にDiederik P. KingmaとMax Wellingが発表した論文「Auto-Encoding Variational Bayes」（ICLR 2014）で提案された生成モデルです。ほぼ同時期にDanilo Rezende、Shakir Mohamed、Daan Wierstraのグループも類似のアイデアを「Stochastic Backpropagation and Approximate Inference in Deep Generative Models」として発表しており、深層学習と変分ベイズ推論を組み合わせるというアプローチが2014年前後に独立して確立された点も、VAEの理論的な裏付けの厚さを示しています。

従来のオートエンコーダは、入力データを圧縮（エンコード）し、それを復元（デコード）する仕組みそのものが目的でした。これに対しVAEは、潜在空間を「点」ではなく「確率分布」として扱う点が本質的に異なります。この工夫により、学習済みの潜在空間から新しい潜在ベクトルをランダムにサンプリングし、デコーダに通すだけで、これまで存在しなかったデータ（画像・音声・分子構造など）を生成できるようになりました。単なる次元圧縮ツールだったオートエンコーダを、確率的な生成モデルへと転換させた点がVAEの最大の功績です。

2014年〜2018年頃はGAN（敵対的生成ネットワーク）と並ぶ二大生成モデルとして画像生成研究の中心にありましたが、2020年代に入り拡散モデル（Diffusion Model）が高精細な画像生成で主流になった後も、VAEはStable Diffusionをはじめとする潜在拡散モデル（Latent Diffusion Model）の画像圧縮コンポーネントとして生き残り、現在も生成AIパイプラインを支える基盤技術の一つであり続けています。単体の生成モデルとしてよりも、他の生成モデルと組み合わせる「部品」としての重要性が増している点が、VAEの現在地を理解するうえでのポイントです。

変分ベイズ法の応用

確率的潜在変数モデル

VAEは観測されたデータxが、潜在変数zによって生成されるという確率的モデルを仮定します。この潜在変数は連続的な確率分布（通常は多次元正規分布）に従い、データの本質的な特徴を表現します。生成過程は「まず潜在変数zを事前分布p(z)（標準正規分布N(0, I)であることが多い）からサンプリングし、次にデコーダp(x|z)を通してデータxを生成する」という2段階で記述されます。学習の目的は、この生成過程を逆向きにたどってzの事後分布p(z|x)を求めることですが、これは一般に解析的に計算できません。

変分下界（ELBO）の最大化

真の事後分布p(z|x)は計算困難なため、VAEはエンコーダが出力する近似事後分布q(z|x)を用いて、これを近似します。学習の目標関数は「変分下界（Evidence Lower BOund、ELBO）」と呼ばれ、次のように定式化されます。

ELBO = E_q(z|x)[log p(x|z)] − KL(q(z|x) || p(z))
     = 再構成項（データの復元精度） − 正則化項（潜在分布を事前分布に近づける）

第1項は「デコーダが元のデータをどれだけ忠実に復元できるか」を表す再構成誤差で、画像であればピクセル単位の平均二乗誤差や交差エントロピーとして実装されることが多い項目です。第2項は、エンコーダが出力する分布q(z|x)を事前分布p(z)に近づけるKLダイバージェンスで、潜在空間を滑らかで扱いやすい構造に保つ正則化として働きます。この2項のバランスを取りながらELBOを最大化する（＝負のELBOを最小化する）ことが、VAEの学習そのものです。理論的にはlog p(x) ≥ ELBOという関係が成り立つため、ELBOを最大化することは、対数尤度log p(x)の下限を押し上げることに相当します。

Reparameterization Trick

VAEの学習における最重要技術の一つが、reparameterization trick（再パラメータ化トリック）です。単純にq(z|x)からzをサンプリングすると、そのサンプリング操作は微分不可能であるため、誤差逆伝播（バックプロパゲーション）が通せません。そこでKingmaらは、サンプリング処理を次のように分解しました。

z = μ(x) + σ(x) ⊙ ε,   ε 〜 N(0, I)

ここでμ(x)とσ(x)はエンコーダが出力する平均と標準偏差、εは標準正規分布からサンプリングされる補助的な確率変数です。この形にすることで、確率的なランダム性はε側に切り離され、μとσに関する勾配計算は通常のニューラルネットワークと同様に誤差逆伝播で計算できます。この一見単純なトリックが、VAEを勾配降下法だけで end-to-end に学習可能にした決定的な工夫であり、後にGumbel-Softmaxトリック（離散変数向けの再パラメータ化）など、他の生成モデルにも波及する考え方になりました。

アーキテクチャと構成要素

エンコーダネットワーク

入力データxから潜在変数zの平均μと分散σ²（実際には数値安定性のためlogσ²を出力することが多い）を推定するニューラルネットワークです。認識モデル（Recognition Model）や推論ネットワーク（Inference Network）とも呼ばれます。画像であれば畳み込み層（Convolutional層）を、系列データであればLSTMやTransformerを用いるなど、扱うデータの種類に応じて内部構造は柔軟に差し替えられます。出力層だけがVAE特有で、通常の分類器とは異なり「平均」と「分散」という2組のベクトルを出力する点が特徴です。

デコーダネットワーク

潜在変数zから元のデータxを再構成するニューラルネットワークです。生成モデル（Generative Model）として機能し、エンコーダとは逆方向の構造（畳み込みの代わりに転置畳み込み、ダウンサンプリングの代わりにアップサンプリングなど）を持つのが一般的です。学習後はエンコーダを切り離し、デコーダ単体に潜在空間からサンプリングしたベクトルを入力するだけで、新しいデータを生成できます。

潜在空間（Latent Space）の次元数

潜在空間の次元数は、モデルの表現力と圧縮率のトレードオフを決めるハイパーパラメータです。次元数を小さくしすぎると複雑なデータの特徴を表現しきれずぼやけた復元になり、大きくしすぎるとKL項が効きにくくなり正則化の効果が薄れて汎化性能が下がります。実務では、対象データの複雑さを見ながら数十〜数百次元程度で調整し、再構成誤差と生成サンプルの多様性の両方を確認しながら決定するのが定石です。

損失関数

VAEの損失は再構成誤差とKLダイバージェンスの和（＝負のELBO）で構成されます。再構成誤差はデータの忠実性を、KL項は潜在空間を事前分布に近づける正則化効果を提供します。この2つの項の重みバランスを調整する係数β（後述のβ-VAEで導入された概念）を1より大きくすると、潜在空間の各次元がより解釈しやすい（disentangleな）表現になる一方、復元画像はぼやけやすくなるというトレードオフが生じます。

具体例・ユースケース

VAEの応用範囲は画像に留まらず、確率分布を扱えるという性質を活かして幅広い分野で使われています。代表的なユースケースを、具体的な文脈とともに紹介します。

画像生成・潜在空間での属性操作

顔画像データセット（CelebAなど）を用いた研究では、VAEの潜在空間上で2点間を線形補間すると、片方の顔からもう片方の顔へ滑らかに変化する中間画像が生成できることが知られています。同様に、潜在空間内で「メガネをかけている／いない」「笑顔／真顔」といった属性に対応する方向ベクトルを求め、そのベクトルを足し引きすることで画像の属性だけを変化させる、といった操作も可能です。この「連続的で意味のある潜在空間」という性質は、後発の拡散モデルの潜在空間設計にも影響を与えています。

異常検知（製造ライン・システム監視）

正常データのみで学習したVAEは、正常パターンの再構成には強い一方、学習時に見ていない異常パターンに対しては再構成誤差が大きくなる傾向があります。この性質を利用し、製造ラインの画像検査（外観検査）でのキズ・欠陥検出や、センサー時系列データを対象にした設備の異常予兆検知、ネットワークトラフィックにおける不正アクセス検知など、「正常データは十分にあるが異常データのラベルは少ない」現場で広く応用されています。ラベル付き異常データを大量に集める必要がない教師なし〜半教師あり的なアプローチである点が実務上のメリットです。

レコメンデーション（協調フィルタリング）

ユーザーの行動履歴（閲覧・購買・評価など）を暗黙的なフィードバックとして扱い、VAEでユーザーの嗜好を潜在変数として表現するCollaborative Filtering向けVAE（Mult-VAEなど）は、従来の行列分解ベースの手法と比較して精度が高いことが複数の研究で報告されており、推薦システムの一手法として研究・実装が続けられています。

創薬・分子設計

分子構造をSMILES記法などの文字列やグラフ構造として表現し、VAEで連続的な潜在空間に埋め込むことで、勾配ベースの最適化や既存分子間の補間によって新規化合物候補を探索する研究が進められています。分子の構造的な妥当性（原子価のルールなど）を保証するため、木構造を明示的に扱うJunction Tree VAEのような専用アーキテクチャも提案されており、創薬プロセスの初期段階（候補化合物のスクリーニング）を効率化する手法として研究されています。

音楽・音声生成

Googleの研究チームMagentaが公開したMusicVAEは、メロディやコード進行を潜在空間にエンコードし、2つの楽曲フレーズの潜在ベクトルを補間することで、両者の中間的な特徴を持つ新しいメロディを生成できることを示しました。音声分野でも、話者性（声色）を潜在変数として分離し、内容はそのままに話者だけを変換するVAEベースの声質変換（Voice Conversion）研究が行われています。

画像圧縮コンポーネントとしての活用

後述するように、Stable Diffusionをはじめとする潜在拡散モデルでは、高解像度画像をVAEでいったん低解像度の潜在表現に圧縮し、その潜在空間内で拡散処理を行ってから、VAEのデコーダで最終的な画像に復元するという設計が採用されています。エンドユーザーが目にする「拡散モデルによる画像生成」の裏側で、VAEが画像圧縮・復元の要として静かに稼働している点は、VAEの現在の立ち位置を象徴する事例です。

メリット・デメリット（注意点）

VAEを実務で採用するかどうかを判断する際は、他の生成モデル（GAN、拡散モデルなど）と比較した際の得意・不得意を理解しておくことが重要です。

観点	内容
メリット	学習が安定している（GANのような敵対的学習特有のモード崩壊や学習不安定性が起きにくい）。ELBOという明確な目的関数があり、対数尤度の下限として理論的な裏付けを持つ。潜在空間が連続的で滑らかなため、補間・属性操作・異常検知への応用がしやすい。エンコーダを通じてデータを潜在ベクトルに写像できるため、特徴抽出器としても使い回せる。
デメリット・注意点	再構成誤差にピクセル単位の誤差（MSEなど）を使うことが多く、生成画像がぼやけやすい（GANや拡散モデルと比べて鮮明さで劣る傾向がある）。KL項が強く効きすぎると、デコーダが潜在変数zをほとんど無視してしまう「posterior collapse（事後分布崩壊）」が起こることがある。潜在空間の次元数やβ係数など、再構成精度と正則化のバランスを取るハイパーパラメータ調整が必要。単体では高解像度・高品質な画像生成において拡散モデルに性能面で及ばないことが多く、近年は単体の生成モデルというより他モデルの構成要素として使われる場面が増えている。

実務上は、「サンプルの鮮明さそのもの」が最重要なら拡散モデルやGAN、「学習の安定性」「潜在空間の解釈性」「異常検知のような再構成誤差を直接使うタスク」が重要ならVAEを検討する、という判断軸が定石です。

VAEの発展と改良版

• β-VAE：KL項の重みβを1より大きくすることで、潜在空間の各次元を意味的に分離しやすくする（disentangled representation）。解釈可能性が向上する一方、再構成の忠実度は下がりやすい。
• WAE（Wasserstein Auto-Encoder）：KLダイバージェンスの代わりにWasserstein距離に基づく正則化を用いる改良版で、posterior collapseが起きにくいとされる。
• VQ-VAE（Vector Quantized VAE）：潜在変数を連続値ではなく離散的なコードブックのインデックスとして表現するバリエーション。後継のVQ-VAE-2は高解像度画像生成で成果を示し、この離散潜在表現の考え方はDALL-E（初代）の画像トークナイザーにも採用された。
• Conditional VAE（CVAE）：ラベルやテキストなどの条件情報をエンコーダ・デコーダの両方に入力することで、「特定のクラスの画像だけを生成する」といった条件付き生成を可能にする拡張。
• Hierarchical VAE（NVAEなど）：潜在変数を複数階層に分けて表現し、大域的な構造から局所的な詳細まで段階的に生成することで、単層のVAEより高品質な生成を目指す発展版。
• VQ-GAN：VQ-VAEの離散潜在表現とGANの敵対的学習を組み合わせ、Transformerによる自己回帰生成と組み合わせることで、より鮮明な画像生成を実現した手法。画像トークナイザーとしての設計思想は、後の潜在拡散モデルの画像圧縮部にも受け継がれている。

GAN・拡散モデルとの違い

GAN（敵対的生成ネットワーク）との比較

VAEとほぼ同時期（2014年）に発表されたGAN（Generative Adversarial Network、Ian Goodfellowらが提案）は、生成器（Generator）と識別器（Discriminator）を敵対的に学習させることで、非常に鮮明な画像を生成できる手法です。VAEが「尤度ベースの目的関数（ELBO）」を最大化するのに対し、GANは「本物か偽物かを見分ける識別器を騙せるか」というゲーム的な目的で学習します。この違いにより、VAEは学習が安定しやすく潜在空間も扱いやすい一方、再構成誤差の性質上、生成画像がやや平均的でぼやけた印象になりやすいという傾向があります。逆にGANは、学習がしばしば不安定（モード崩壊や学習の発振）になりやすい代わりに、非常に鮮明でリアルな画像を生成できます。VQ-GANのように両者の考え方を組み合わせたハイブリッド手法も存在します。

拡散モデル（Diffusion Model）との比較

2020年代以降、画像生成の主流はVAEやGANから拡散モデルへと移りました。拡散モデルは、データに少しずつノイズを加えていく過程（拡散過程）と、そのノイズを段階的に除去していく過程（逆拡散過程）をニューラルネットワークで学習する手法で、Stable Diffusion、Midjourney、DALL-E 3といった代表的な画像生成サービスの中核技術になっています。拡散モデルはVAEやGANよりも高品質かつ多様な画像を生成できる一方、生成に多数のステップ（ノイズ除去の繰り返し）を要するため計算コストが高いという弱点があります。ここで重要なのは、多くの拡散モデルは画像をピクセル空間で直接扱うのではなく、VAEで圧縮した低次元の潜在空間上で拡散処理を行う「潜在拡散モデル（Latent Diffusion Model）」という設計を採用している点です。つまりVAEは拡散モデルの「対抗馬」から、拡散モデルを支える「縁の下の力持ち」的なコンポーネントへと役割を変えながら生き残っている、というのが2020年代後半時点での位置づけです。

手法	学習の安定性	生成品質の傾向	推論コスト
VAE	高い	ややぼやけやすい	低い（1回のデコードで生成）
GAN	低い（不安定になりやすい）	鮮明	低い（1回の生成器通過）
拡散モデル	高い	非常に高品質・多様	高い（多数ステップの反復処理）

実装とツール（実務ポイント）

VAEはPyTorch、TensorFlow、Kerasなどの主要な深層学習フレームワークで実装可能です。特にPyTorchでは、torch.distributionsのように確率分布を扱うライブラリが充実しており、平均・分散の出力からのサンプリングやKLダイバージェンスの計算を簡潔に記述できるため、VAEの実装に適しています。以下は、エンコーダ・デコーダとreparameterization trick、損失関数の骨格を示す簡略化した実装イメージです（実際の層構成やハイパーパラメータはタスクに応じて調整が必要です）。

class VAE(nn.Module):
    def __init__(self, input_dim, latent_dim):
        super().__init__()
        self.encoder = Encoder(input_dim, latent_dim)  # mu, logvar を出力
        self.decoder = Decoder(latent_dim, input_dim)

    def reparameterize(self, mu, logvar):
        std = torch.exp(0.5 * logvar)
        eps = torch.randn_like(std)
        return mu + eps * std  # reparameterization trick

    def forward(self, x):
        mu, logvar = self.encoder(x)
        z = self.reparameterize(mu, logvar)
        x_recon = self.decoder(z)
        return x_recon, mu, logvar

def vae_loss(x, x_recon, mu, logvar):
    recon_loss = F.mse_loss(x_recon, x, reduction='sum')
    kl_loss = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
    return recon_loss + kl_loss  # 負のELBO

実務での導入時に押さえておきたいポイントは次の3点です。第一に、学習初期はKL項の重みを0から徐々に増やす「KLアニーリング（KL annealing）」を行うと、posterior collapseを避けやすくなります。第二に、再構成損失に何を使うか（MSEか、二値交差エントロピーか、知覚的損失（perceptual loss）を加えるか）によって生成画像の質感が大きく変わるため、対象データの性質に応じた選択が必要です。第三に、潜在空間の次元数とβ係数は、再構成精度・生成多様性・解釈性のどこを重視するかによって決めるべきトレードオフのパラメータであり、唯一の正解値はありません。検証データでの再構成誤差だけでなく、実際にサンプリングした生成結果を目視・定性評価することも欠かせません。

2025〜2026年の最新動向

2025年から2026年にかけて、VAEを取り巻く状況は「単体の生成モデルとしての進化」よりも「他の生成モデルを支える基盤コンポーネントとしての深化」が中心になっています。

潜在拡散モデルの画像圧縮部としての定着

Stability AIのStable Diffusionシリーズや、その後継となるStable Diffusion 3、Black Forest LabsのFLUXをはじめとする最新の画像生成モデルの多くは、KL正則化を用いたVAE（KL-VAE）を画像のエンコーダ・デコーダとして採用し続けています。高解像度画像を直接拡散処理するのは計算コストが非常に高いため、VAEでいったん圧縮した潜在空間上でノイズ除去処理（多くはTransformerベースのアーキテクチャ）を行うという設計が、2025〜2026年時点でも画像・動画生成モデルの標準的な構成として定着しています。

動画生成モデルにおける時間方向の圧縮

OpenAIのSoraをはじめとする動画生成モデルの多くは、フレーム系列（時間方向）と空間方向の両方を圧縮する必要があるため、静止画像用のVAEを時間軸に拡張した3D的な圧縮ネットワークを用いる設計が一般的になっています。動画は情報量が画像よりもはるかに大きいため、こうした圧縮コンポーネントの効率が生成速度やコストに直結する重要な研究テーマになっています。

マルチモーダルAI・AIエージェントにおける画像トークナイザー

マルチモーダルなAIエージェントや推論モデルが画像を理解・生成する際、画像を離散的なトークン列に変換してから他のテキストトークンと同様に扱う設計が広がっています。VQ-VAEに由来する離散潜在表現の考え方は、こうした画像トークナイザーの設計思想の源流の一つであり、テキストと画像を統一的なトークン列として扱う近年のマルチモーダルモデルの基盤技術としても影響を与え続けています。

研究面での位置づけ

純粋な画像生成ベンチマークでVAE単体が拡散モデルを上回るという状況は考えにくいものの、学習の軽さ・推論の速さ・潜在空間の扱いやすさというVAEの強みは、リアルタイム性が求められる用途や、異常検知・特徴抽出のような「生成そのものより表現学習が目的」のタスクでは依然として有効です。今後も、VAEが単体の主役に返り咲くというより、拡散モデルや自己回帰モデルと組み合わされる形での改良（圧縮効率の向上、reconstruction品質の改善など）が研究の中心になると見られます。

まとめ

VAEは変分ベイズ法と深層学習を融合した生成モデルであり、ELBOという明確な目的関数とreparameterization trickという工夫によって、勾配降下法だけで確率的な生成モデルを学習できるようにした点に理論的・実用的な価値があります。単体の画像生成モデルとしては拡散モデルにその座を譲った面がありますが、Stable Diffusionのような潜在拡散モデルの画像圧縮コンポーネントとして、また異常検知・特徴抽出・推薦システムといった実務タスクの手法として、現在も生成AI技術を支える基盤として位置づけられています。

この用語についてもっと詳しく

VAEに関するご質問や、システム導入のご相談など、お気軽にお問い合わせください。

よくある質問（FAQ）

関連用語

外部リンク・参考資料

• Auto-Encoding Variational Bayes（Kingma & Welling, 2013）- VAEの原論文
• High-Resolution Image Synthesis with Latent Diffusion Models（Rombach et al., 2022）- Stable Diffusionの基礎論文、VAEによる潜在空間圧縮を採用
• Variational autoencoder - Wikipedia
• PyTorch公式サンプル実装（VAE）