EOSTok：让预测保留图像信息

交互教程

token 更易预测并不总意味着图像模型更好；tokenizer 可能只是丢弃了信息。

之前已经能做什么

两阶段系统先训练 tokenizer，再在固定 codes 上训练自回归先验。端到端训练可协调两者，但单独 next-token loss 奖励易预测性。码本塌缩或有效词表缩小，可能降低预测难度却损害图像保真度。

改变了什么，为什么

EOSTok 联合训练一维语义 tokenizer 与因果图像生成器。IBQ 通过 softmax/straight-through 分配连接量化梯度。自回归预测重建 APR 将 teacher-forcing 下预测的 token 解码成像素，使用 L2 与 LPIPS。DINOv2 对齐施加于空间 hidden features，不强迫全局 latent slots 对应像素位置。

阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。

可微分配

IBQ 连接编码器、码本与生成器梯度。

assignment = softmax(code_logits)
zq = straight_through_assignment(assignment) @ codebook

Teacher-forced 预测

可由分配概率形成输入嵌入。

inputs = assignment @ token_embeddings
predicted = causal_generator(inputs[:,:-1])

APR 像素监督

解释梯度时保留上下文假设。

prediction_image = decoder(predicted_codes)
loss_apr = l2(prediction_image,image)+lpips(prediction_image,image)

查看固定版本来源

\hat x=2p,\quad L=(2p-x)^2,\quad \frac{dL}{dp}=4(2p-x)

逐步理解机制

演示用两个分别解码为 0、2 的 code。软概率 p 给出期望输出 2p；像素误差随预测概率变化，并产生梯度。这分离展示重建如何监督预测码分布，但只是教学松弛，不是完整 IBQ 估计器或自由运行 APR 训练。

Teacher forcing 在预测下一 token 时提供真实前序 token，因此 APR 在这些上下文下评估预测。它不是穿过完整自由采样图像轨迹的无偏梯度。这一区别决定了如何理解端到端训练真正优化的目标。

改变参数，查看计算值，再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子，不是训练后的研究模型。

码 1 的概率 0.5像素目标 1

可微软期望只是教学松弛，不是自由离散生成，也不是 APR 的完整实现。

当前例子的计算值
量	值
软解码预测 2p	1.000
教学像素 MSE	0.000
d MSE / dp	0.000

训练与采样的区别

编码器中图像 patch 双向交互，queries 因果交互且可读取全部 patch，但 patch 不能反读 queries。一维 latent 序列的 tokenizer 与生成器均用可学习绝对位置。APR 额外增加解码器前向，语义对齐增加预训练教师依赖。

论文证据（并非本地复现）

条件	指标	数值	解释
EOSTok-L，50 epochs，基线	rFID ↓ / gFID ↓ / AR accuracy ↑	1.09 / 3.82 / 11.8%	端到端消融表；无 guidance
朴素端到端	rFID ↓ / gFID ↓ / AR accuracy ↑	4.92 / 8.01 / 30.2%	准确率更高，图像更差
加入 APR	rFID ↓ / gFID ↓ / AR accuracy ↑	1.02 / 3.32 / 11.9%	采用表中基线准确率，正文略有差异

这些结果不能证明什么

用下方匹配的 50-epoch 消融观察朴素联合训练的失败。更高 AR 准确率并不充分，最易预测的 codes 可能给出更差图像。部分大小的主实验采用 AutoGuidance，不能视为成本相同的普通 CFG。

检查理解

为什么 AR 准确率上升，图像质量反而下降？

tokenizer 可能让 codes 信息更少、更易预测。像素重建与生成图像指标检验 token 准确率没有覆盖的信息。

来源与后续阅读

返回学习地图

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。