RAE：解码冻结的表征

交互教程

RAE 复用强视觉编码器，再为其特征训练解码器；重建解码器是单次前向 ViT。

前置阅读：语义表征 · DiT

之前已经能做什么

低维 VAE 的编码器主要为重建与正则训练；现代预训练编码器已有有用视觉结构。RAE 研究能否保持这些预训练结构，并将其特征作为扩散生成的图像表示。

改变了什么，为什么

冻结 DINOv2、SigLIP2 或 MAE 编码器，训练 ViT 解码器从 patch 特征恢复 RGB。第二阶段 DiT 学习生成这些特征。这里分开三个角色：提取特征、特征转像素、生成 latent。重建解码器本身不运行扩散。

阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。

冻结特征提取

保留 patch 特征，丢弃 class/register 输出。

with no_grad():
    z = encoder(resize(image,224)).patch_features

单次前向 ViT 解码器

投影特征、加入固定位置、解码 patch 并恢复图像。

patches = decoder(project(z)+fixed_position)
image = unpatchify(pixel_head(patches))

独立 latent 生成器

使模型宽度与时间调度适配表征维数。

generated_z = diffusion_sampler(latent_dit)
image = rae_decoder(generated_z)

查看固定版本来源

\alpha=\sqrt{d/d_{\mathrm{ref}}},\qquad t^\prime=\frac{\alpha t}{1+(\alpha-1)t}

逐步理解机制

DINOv2-B 配方先将 256² 输入缩放到 224²，再送入 patch-14 编码器。16 × 16 特征网格有 768 通道，patch-16 解码器恢复 256² 像素。这有 196608 个 latent 标量；32 × 32 × 4 VAE 网格只有 4096 个。Transformer token 数相同不代表信息预算相同。

调度演示固定 256 个位置并改变通道 C，以 4096 个标量为参照展示维度相关时间偏移。C=16 时维度相同，偏移为恒等映射。时间偏移只是适配之一，不能独自解决更大特征空间的建模困难。

改变参数，查看计算值，再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子，不是训练后的研究模型。

latent 通道数 C 768基础时间 t × 100 50

直线路径速度已知；学习模型需要估计速度，本演示不衡量其误差。

当前例子的计算值
量	值
α = √(256C / 4096)	6.928
基础 t	0.500
t	0.874
x_t = (1 − t) × 2 + t × (−1)	-0.622
v = ε − x	-3

训练与采样的区别

论文解码器配方采用 L1、LPIPS 与对抗项。噪声增强解码训练使其容忍不完美生成 latent。报告的消融中，这改善生成却降低精确重建表现。发布代码后来重构过，噪声分布及优化器配方应与论文分别记录。

论文证据（并非本地复现）

条件	指标	数值	解释
ImageNet-256；DINOv2-B / ViT-XL 解码器	rFID ↓ / linear top-1 ↑	0.49 / 84.5%	重建与冻结特征分类
相同解码器大小；MAE-B 编码器	rFID ↓ / linear top-1 ↑	0.16 / 68.0%	重建更好不能推出语义更好
噪声增强：关闭 → 开启	gFID ↓; rFID ↓	4.81 → 4.28; 0.49 → 0.57	第 4 节受控消融，区别于主表排名

这些结果不能证明什么

RAE 继承编码器预训练成本与语义性质；高维连续值并非紧凑离散码流。表中最低 rFID 不对应最高线性探针准确率。还应区分重建解码器的固定二维正弦余弦位置与后续生成主干的 RoPE。

检查理解

RAE 解码器训练时，编码器哪些权重改变？

冻结编码器配方中都不改变。重建改善来自解码器学习，编码器特征保持固定。

来源与后续阅读

返回学习地图

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。