RAE-T2I：扩展共享特征空间

交互教程

共享图像表示可支持独立理解与生成路径，并不意味着只有一个通用输出头。

之前已经能做什么

原始 RAE 研究预训练特征空间中的扩散，包括类别条件生成。图文生成增加丰富语言条件、更广数据分布，以及可读文字渲染等需求，会暴露 ImageNet 重建未衡量的弱点。

改变了什么，为什么

冻结 SigLIP-2 So400M patch-14 编码器，224² 输入得到 256 个 1152 维特征，并训练 ViT 图像解码器。生成时，LLM、学习 queries 和 MLP connector 为 flow DiT 提供条件；理解时，另一 projector 将同一冻结编码器特征送入 LLM。共享的是表示，任务头不同。

阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。

共享冻结特征

理解路径通过独立 projector 输入 LLM。

z = frozen_siglip2(image)
understanding_tokens = understanding_projector(z)

语言条件 flow

Flow DiT 生成完整特征网格。

condition = connector(llm(text,learned_queries))
z_generated = flow_sampler(dit,condition)

特征转像素解码器

使用覆盖任务所需重建细节的数据训练。

image = rae_decoder(z_generated)

查看固定版本来源

\alpha=\sqrt{256C/4096},\qquad t^\prime=\frac{\alpha t}{1+(\alpha-1)t}

逐步理解机制

调度演示使用 m=256C、参考维数 n=4096。设 C=1152、t=0.5，则 α=√72≈8.485，偏移时间约为 0.895。按数据在零的约定，偏移让训练更常采到噪声较大的状态。这些数值只是调度计算，不代表实测质量收益。

解码器在约 73M 样本上训练，包含网页、合成及文字渲染数据。论文发现普通 web 训练不足以可靠恢复字形，因此自然图像 rFID 好不能替代专门文字重建评估。

改变参数，查看计算值，再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子，不是训练后的研究模型。

latent 通道数 C 768基础时间 t × 100 50

直线路径速度已知；学习模型需要估计速度，本演示不衡量其误差。

当前例子的计算值
量	值
α = √(256C / 4096)	6.928
基础 t	0.500
t	0.874
x_t = (1 − t) × 2 + t × (−1)	-0.622
v = ε − x	-3

训练与采样的区别

解码器目标结合 L1、LPIPS、Gram 和 GAN。生成研究比较 0.5B 至 9.8B DiT。维度感知调度仍重要，而宽 DDT 头、解码器加噪等小模型改进，在较大图文规模下收益减小。

论文证据（并非本地复现）

条件	指标	数值	解释
SigLIP-2 RAE：ImageNet / YFCC / Text	rFID ↓	0.435 / 0.702 / 1.621	重建表，分开报告三个数据集
FLUX VAE：同表相同列	rFID ↓	0.288 / 0.410 / 0.638	RAE 并非重建全面更好

这些结果不能证明什么

主要对照固定 256 个视觉 token，但 RAE 输出 224²、VAE 输出 256²，特征宽度与预训练成本也不同。这是固定序列长度的系统对照，并非完全匹配码率和容量。理解结果相近反映共享冻结理解编码器，不能证明生成训练带来巨大理解收益。

展开公式推导

时间偏移将比例 t/(1−t) 乘以 α，解该比例等式即可得到显示的分式变换。它保持 0 与 1；α 大于 1 时使中间时间增大。

\frac{t^\prime}{1-t^\prime}=\alpha\frac{t}{1-t}\quad\Longrightarrow\quad t^\prime=\frac{\alpha t}{1+(\alpha-1)t}

检查理解

共享表示意味着它是连续图像 token 因果 AR 模型吗？

不是。图像生成器仍是 diffusion/flow DiT；表示共享与生成分解方式是独立设计选择。

来源与后续阅读

返回学习地图

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。