VAE：ELBO、重参数化与posterior collapse

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 采用q(z|x)=N(μ,diagσ²)、p(z)=N(0,I)，观测likelihood另定。
• 优化负ELBO；beta或KL warmup是扩展训练策略，不是原题固定配置。

解题路线

1. logp(x)≥E_q logp(x|z)−KL(q||p)，来自对隐变量积分引入q并用Jensen；等号在q为真实posterior时成立。
2. 用z=μ+σ⊙ε、ε~N(0,I)使采样随机性与参数分离，重建项可经z回传。logvar参数化σ=exp(.5logvar)，对角KL=.5Σ(μ²+exp(logvar)−1−logvar)。
3. KL约束把latent组织到先验附近，过强或decoder过强可能忽略z；观察KL各维、互信息代理和conditional reconstruction，不只看总loss。

手动走一遍

μ=0、σ²=1时KL0；μ=2、σ²=1的一维KL2。若q接近p且decoder输出不依赖z，可能是collapse而非理想生成。生成从p(z)采样再decode；重建从q(z|x)采样，两个路径必须区分。

规模与取舍

一次ELBO估计用有限Monte Carlo样本，方差与样本数/网络有关；对角KL计算O(latent_dim)，主要成本仍是encoder/decoder。

易错点与追问

容易失分的边界

• KL方向是q||p，换方向梯度与模式偏好不同。
• MSE重建若随输入维数sum而KL随latent sum，尺度选择会改变相对权重。

继续深挖

• 如果likelihood方差可学习，如何防止重建项尺度退化？
• full covariance q怎样算KL，计算与稳定性代价是什么？