跳转到内容
English

方法对照

比较结构,不把不同协议的指标拼成排行榜。APE 是绝对位置编码;RoPE 旋转 query/key;未核验不表示没有。

方法表征重建或输出模块位置方案
VQGAN网格 VQ单次前向 CNN学习 APE(先验)
VAR多尺度 VQ单次前向 CNN学习 APE + 尺度嵌入
ViT连续 patches分类头学习 APE
RoPE-ViT连续 patches分类头axial / mixed RoPE
TiTok一维离散 slots单次前向混合解码学习 patch / slot APE
DiT连续 VAE 网格latent 去噪器 + VAE固定二维 sin-cos
DiTo连续网格迭代 U-Net未审计
FlowMoLFQ slots迭代 flow Transformer多轴 RoPE
RAE高维特征单次前向 ViT固定二维 sin-cos(解码器)
MAETok连续一维 slots单次前向解码器未审计
UniTok多码本网格单次前向解码器混合空间结构
VILA-U残差量化码图像解码器未审计
AToken语义 / 连续 / 离散Transformer 解码器学习 APE + 四维 RoPE
AIM连续像素patch 回归头正弦 APE
MAR连续 latent tokens逐 token 扩散 MLP学习 APE
Fluid连续 / 离散逐 token 输出头讨论学习位置
CausalFusion连续 token 分组Transformer 去噪APE 随实验变化
NextStep-1文字 ID + 连续图像逐 patch flow MLP一维 RoPE(论文)
EOSTok一维 IBQ codes单次前向解码器学习 APE
AdaTok可变长度 VQ预算条件解码器未审计
RAE-T2I共享语义特征DiT + RAE 解码器随模块变化