AdaTok：为已观测图像选择预算

交互教程

可变长度重建与决定何时停止生成，是两个不同问题。

前置阅读：TiTok · 评估

之前已经能做什么

固定长度 tokenizer 对简单图像和复杂图像花费相同码数。可解码前缀的 tokenizer 可在长度与质量间权衡。AdaTok 增加策略，根据已观测输入图像特征选择离散预算。

嵌套尾部遮罩训练 TiTok-S 类码序列的有效前缀。允许长度为 32、64、96、128、160、192、224、256，每预算有 rank-16 LoRA 解码头。Tokenizer 训练后冻结它，用八种重建选择的相对 advantage 训练小型预算选择 MLP。

阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。

嵌套 mask 让多个前缀可解码。

all_codes,features = tokenizer.encode(image)
prefix = all_codes[:budget]

策略训练使用冻结 tokenizer 在全部允许预算下的重建。

budget = allowed_budgets[policy(features).argmax()]

使用匹配的低秩解码适配。

image_hat = decoder(all_codes[:budget],lora_head=budget)

演示可设置信号复杂度与编码预算。解析解码器保留足够基函数系数以表示选定频率，说明质量约束如何偏好不同预算。它不实现学习策略，显示的 256/预算比也不是实测加速。

策略看到原图编码器特征；无条件生成时，原图尚不存在。将固定目标长度设为平均选择长度，不等于实现自主停止。论文将 visual EOS 留作未来工作。

改变参数，查看计算值，再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子，不是训练后的研究模型。

选择的 token 预算 128教学信号复杂度 4

灰色为目标信号，绿色为教学解码信号；未使用训练后的图像模型。

Tokenizer 训练先于约 330K 参数的策略。策略对每图比较多个预算，通过相对归一化与动态权重平衡 MSE 和 token 数。相对归一化不保证逐图精确码率失真最优；编码时也仍先生成完整候选序列。

报告约 2.1× AR 吞吐使用固定 118-token 目标长度，以匹配自适应平均值，并非学习停止规则的动态生成。完整 256-token MaskGIT 的 gFID 2.28 不能贴到自适应 118-token 重建行上。本文未审计固定官方代码版本。

为什么同一预算策略不能直接在无条件生成前选长度？

它需要已观测源图像的特征；生成没有源图，因此需要另一种停止机制。

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。