自编码器：有用的瓶颈
交互教程
一个较小的内部描述能保留重建图像所需的信息吗？自编码器共同学习这种描述及其读取方式。
前置阅读：概率与张量
之前已经能做什么
Section titled “之前已经能做什么”固定压缩方法预先选择变换。自编码器从样本学习编码器 E 和解码器 D，使 D(E(x)) 接近 x。中间值 z 常称为 latent，这并不要求概率模型。
改变了什么，为什么
Section titled “改变了什么，为什么”瓶颈迫使模型选择保留什么。可以限制维度、加噪、量化，或通过损失约束表征。如果没有这些约束，高容量网络可能只学会缺乏用途的复制。
阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。
编码器
下采样改变空间尺寸，而不仅是通道数。
z = E(x)瓶颈
重建信息都必须通过该接口。
z_small = constrain(z)解码器
预测像素并与输入比较。
x_hat = D(z_small)
loss = mean((x_hat - x)**2)逐步理解机制
Section titled “逐步理解机制”教学例子仅保留有限信号频率。当保留系数足够覆盖细节频率时，误差下降。这种突变来自明确的基函数规则；神经编码器学习非线性表征，其曲线不一定相同。
改变参数，查看计算值，再把它与上方的真实模型说明对照。
解析教学模型 · 控件改变的是例子，不是训练后的研究模型。
灰色为目标信号，绿色为教学解码信号；未使用训练后的图像模型。
| 量 | 值 |
|---|---|
| 教学信号 MSE | 0.045 |
| 信号采样点 | 48 |
训练与采样的区别
Section titled “训练与采样的区别”常见图像编码器用步长卷积降低 H、W，同时增加通道。解码器再上采样。像素 MSE 惩罚所有差异，但把多个合理细节平均，可能降低 MSE 却让图像模糊。
训练后，重建是编码器和解码器各前向一次。随机选择 latent 是另一回事：解码器可能从未见过该区域。普通自编码器不保证标准高斯采样可以正常解码。
这些结果不能证明什么
Section titled “这些结果不能证明什么”重建不证明语义理解。模型可以保留纹理，却不能按含义组织物体。VAE 引入概率潜空间，VQ-VAE 引入离散字典，两者都保留编码器—瓶颈—解码器结构。
为什么不能随意采样 AE 的 z？
训练编码只占据学习到的部分区域，任意值可能落在其外；模型尚未拟合描述该区域的先验。
来源与后续阅读
Section titled “来源与后续阅读”本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。