语义特征：对哪种任务有用？

交互教程

表征可保留物体身份，却丢失纹理；这可能有利于分类，却不利于精确重建。

前置阅读：自编码器 · ViT · 评估

之前已经能做什么

重建问原图有哪些像素，识别问哪些属性对任务重要。忽略光照或小纹理变化可能帮助识别；同样的不变性也可能移除解码器所需信息。不存在一个可概括所有任务的“语义质量”标量。

图文对比学习使配对图像与文字嵌入相对不匹配样本更接近。视觉自监督可改用图像视图或 patch 目标，无需配对文字。两者都可能产生有用特征，但视觉特征有用不自动意味着与文字共享空间。

阅读顺序从左到右。点击模块，将它与计算和代码对应。代码为教学伪代码；来源链接提供论文方法或已核查的实现。

记录预训练来源及哪些权重会更新。

features = encoder(image)
if probe_mode: features = stop_gradient(features)

探针与文字相似度头需要不同训练数据。

probe_logits = linear(pool(features))
text_scores = normalize(pool(features)) @ normalize(text_features).T

解码器在自身容量与训练条件下检验保留的图像信息。

reconstruction = image_decoder(features)

\ell_i=-\log\frac{\exp(s(v_i,t_i)/T)}{\sum_j\exp(s(v_i,t_j)/T)}

演示虚构一个固定为 1 的语义因子和一个纹理因子。降低细节保留权重，使表征对纹理不敏感。这可能帮助仅依赖第一因子的假想分类，却增加第二因子的重建误差。真实特征没有这样天然分离的坐标轴。

线性探针冻结编码器，用有标签样本训练线性分类器。零样本分类将图像与文字编码的类别提示比较，需要兼容文本编码器。VQA 则训练或评估能够看图回答问题的更大系统。这些测试不能互相替代。

改变参数，查看计算值，再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子，不是训练后的研究模型。

保留细节的权重 0.5输入纹理强度 0.7

两个虚构因子说明不变性与细节；坐标都不是实测语义分数。

RAE 的语义主要来自预训练冻结编码器；MAETok 用遮罩与辅助目标塑造可训练 latent 空间；UniTok 和 VILA-U 将重建与图文对齐结合。归因 tokenizer 收益前，应分别比较预训练数据、冻结模块及下游训练。

高探针成绩不能证明文字对齐，低重建误差不能证明识别能力。下游多模态模型也可能通过更多数据或训练弥补 tokenizer 弱点，因此要分别报告各阶段与评估协议。

DINO 类视觉编码器能独自完成文字零样本分类吗？

仅有视觉特征提取器不提供所需的对齐文本编码器；线性探针需要有标签训练数据，属于另一测试。

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记；未运行研究模型。