跳转到内容
English

“图像更好”的三种含义

交互教程

图像看起来合理,仍可能没有忠实保留输入;表征重建很好,仍可能不善于理解。每个目标都要单独测量。

前置阅读:自编码器 · 概率与张量

像素指标比较配对图像。MSE 平均像素平方误差,PSNR 在指定像素范围下对 MSE 作对数变换。SSIM 比较局部结构,LPIPS 比较学习特征。每种指标都有特定相似性定义。

FID 比较特征分布。重建 FID 使用重建图像,生成 FID 使用新生成图像:同一统计量接收不同输入。两者都不直接检查每张重建图中的物体或文字是否匹配原图。

阅读顺序从左到右。点击模块,将它与计算和代码对应。代码为教学伪代码;来源链接提供论文方法或已核查的实现。

配对重建

忠实度指标保留配对关系。

mse = mean((x_hat - x)**2)

分布比较

使用固定评估器比较特征分布矩。

stats_real = feature_stats(real_images)
stats_model = feature_stats(model_images)

下游理解

独立协议检验特征是否支持某个任务。

features = frozen_encoder(x)
prediction = trained_probe(features)

查看固定版本来源

PSNR⁡=10log⁡10(MAX2MSE)\operatorname{PSNR}=10\log_{10}\left(\frac{\mathrm{MAX}^2}{\mathrm{MSE}}\right)

例子包含五个标量样本。置换它们时,配对 MSE 改变,均值与方差不变;再增加亮度偏移,均值才改变。这是区分分布一致与配对忠实度的精确小反例,不是图像 FID。

改变参数,查看计算值,再把它与上方的真实模型说明对照。

解析教学模型 · 控件改变的是例子,不是训练后的研究模型。

置换会改变配对误差,却保持分布;这不是 Inception FID 计算。

当前例子的计算值
量值
配对 MSE0.000
均值差平方0.000
方差差0

线性探针冻结编码器,只训练线性分类器。图文零样本分类还需要兼容的文本编码器。VQA 需要语言系统和独立评测。即使共用视觉特征,这些仍是不同测试。

记录数据划分、分辨率、样本数、预处理、模型大小、预训练与采样设置。guidance 和拒绝采样同时改变质量与成本。大 batch 吞吐不是单图延迟。

更低重建 FID 能证明更好的 VQA 吗?

不能,两者目标不同。应在相同训练与输入条件下进行受控理解评测。

返回学习地图

本页图形与伪代码为教学重绘。论文报告、固定实现观察和解析示例分别标记;未运行研究模型。