题目重点:确定性encoder/decoder学压缩,不自动给出可采样先验。
题意与假设
这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。
- 基本AE定义z=fθ(x)、x̂=gφ(z),采用与数据类型匹配的重建损失。
- 本题为概念比较,不把具体层数/latent大小当给定。
解题路线
- 损失为重建项,连续量可用MSE,二值观测可用Bernoulli负loglikelihood;这两个损失隐含不同噪声模型。
- 瓶颈、去噪或正则防止单纯记住输入,但训练误差低不证明表征泛化。验证新样本重建、下游表示及敏感数据记忆风险。
- 普通AE的latent分布可能有洞。随便采N(0,I)再decode不保证是训练过的区域,生成需要明确建模latent先验或改用概率模型。
手动走一遍
训练数据位于二维曲线上,1维latent或能压缩重建;但该z可能范围[10,20],随机N(0,1)落在没训练的区域,无法保证生成有意义。若用于异常检测,异常也可能被高容量decoder重建很好,需真实异常评估而非只相信重建误差。
规模与取舍
计算量按网络forward/backward和样本数;latent瓶颈降低下游存储但并不必然降低训练成本。
易错点与追问
容易失分的边界
- AE与VAE不是只多一项loss的名字变化,后者编码概率分布与先验。
- 训练重建好不能代表用于推荐/检索的表征更好。
继续深挖
- denoising AE怎样定义输入噪声与重建目标?
- 如何选择瓶颈大小,避免丢失少数重要特征?
