Variational Autoencoder

Definition / 定义

变分自编码器（VAE）是一类生成模型：用“编码器（encoder）”把输入数据映射到一个潜在空间的概率分布（常见为高斯分布的均值与方差），再用“解码器（decoder）”从该分布中采样并重建数据。它通过变分推断优化一个训练目标（常称为 ELBO），在重建质量与潜在分布的规则性（如与先验分布接近）之间取得平衡。除“生成”外，VAE也常用于表示学习与数据压缩。（该术语也可在不同变体中扩展到条件VAE等。）

Pronunciation / 发音

/ˌvɛəriˈeɪʃənəl ˈɔːtoʊɛnˌkoʊdər/

Examples / 例句

A variational autoencoder can generate new images after training.
训练好之后，变分自编码器可以生成新的图像。

Unlike a standard autoencoder, a variational autoencoder learns a distribution in latent space, which makes sampling and interpolation smoother and more meaningful.
与普通自编码器不同，变分自编码器在潜在空间中学习的是一个分布，因此采样与插值通常更平滑、也更有意义。

Etymology / 词源

“Variational”来自“variation（变化）”+ 形容词后缀“-al”，在机器学习里常指变分方法/变分推断（用可计算的近似分布来逼近复杂的后验分布）。“Autoencoder”由“auto-（自我）+ encoder（编码器）”构成，指自监督地把输入压缩再重建的网络结构。“Variational autoencoder”这一组合术语在深度生成模型兴起期（约2013年前后）随经典论文而广泛流行。

Related Words / 相关词

• Autoencoder
• Variational Inference
• Latent Variable
• ELBO
• KL Divergence
• Generative Model
• Encoder
• Decoder

Literary Works / 文学作品

• Auto-Encoding Variational Bayes（Diederik P. Kingma & Max Welling）：提出并系统化VAE训练目标与重参数化技巧的奠基论文。
• An Introduction to Variational Autoencoders（Carl Doersch）：面向学习者的综述型文章，讲解VAE直觉与推导。
• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）：深度学习经典教材中讨论生成模型与相关思想，常与VAE并读。
• Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow（Aurélien Géron）：实作导向书籍，常以VAE作为生成建模案例之一。