“图像更好”的三种含义
交互教程
图像看起来合理,仍可能没有忠实保留输入;表征重建很好,仍可能不善于理解。每个目标都要单独测量。
之前已经能做什么
Section titled “之前已经能做什么”像素指标比较配对图像。MSE 平均像素平方误差,PSNR 在指定像素范围下对 MSE 作对数变换。SSIM 比较局部结构,LPIPS 比较学习特征。每种指标都有特定相似性定义。
改变了什么,为什么
Section titled “改变了什么,为什么”FID 比较特征分布。重建 FID 使用重建图像,生成 FID 使用新生成图像:同一统计量接收不同输入。两者都不直接检查每张重建图中的物体或文字是否匹配原图。
阅读顺序从左到右。点击模块,将它与计算和代码对应。代码为教学伪代码;来源链接提供论文方法或已核查的实现。
配对重建
忠实度指标保留配对关系。
mse = mean((x_hat - x)**2)分布比较
使用固定评估器比较特征分布矩。
stats_real = feature_stats(real_images)
stats_model = feature_stats(model_images)下游理解
独立协议检验特征是否支持某个任务。
features = frozen_encoder(x)
prediction = trained_probe(features)逐步理解机制
Section titled “逐步理解机制”例子包含五个标量样本。置换它们时,配对 MSE 改变,均值与方差不变;再增加亮度偏移,均值才改变。这是区分分布一致与配对忠实度的精确小反例,不是图像 FID。
改变参数,查看计算值,再把它与上方的真实模型说明对照。
解析教学模型 · 控件改变的是例子,不是训练后的研究模型。
置换会改变配对误差,却保持分布;这不是 Inception FID 计算。
| 量 | 值 |
|---|---|
| 配对 MSE | 0.000 |
| 均值差平方 | 0.000 |
| 方差差 | 0 |
训练与采样的区别
Section titled “训练与采样的区别”线性探针冻结编码器,只训练线性分类器。图文零样本分类还需要兼容的文本编码器。VQA 需要语言系统和独立评测。即使共用视觉特征,这些仍是不同测试。
这些结果不能证明什么
Section titled “这些结果不能证明什么”记录数据划分、分辨率、样本数、预处理、模型大小、预训练与采样设置。guidance 和拒绝采样同时改变质量与成本。大 batch 吞吐不是单图延迟。
更低重建 FID 能证明更好的 VQA 吗?
不能,两者目标不同。应在相同训练与输入条件下进行受控理解评测。
来源与后续阅读
Section titled “来源与后续阅读”本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记;未运行研究模型。