术语表

Latent · 潜变量 / 潜表征

内部表示。它可以是概率模型中的随机变量，也可以是确定性特征数组；需要说明采用哪种含义。

Token · 词元

序列中的一个单位，可以是离散 ID 或连续向量。一个 token 不一定对应一个图像 patch。

Prior / posterior · 先验 / 后验

先验描述观测输入之前的潜变量；后验以观测输入为条件。学习编码器可以近似真实后验。

Codebook · 码本

有限向量表。量化选择一项，存储其索引，并把向量交给解码器。

Stop-gradient · 停止梯度

前向保持数值，反向阻止该路径导数的操作。

Autoregressive · 自回归

沿某个顺序建模条件因子的方式，不要求离散值，也不限定某种 Transformer 架构。

Teacher forcing · 教师强制

训练时以真实先前目标作条件；自由生成则使用先前模型预测。

Reconstruction / generation · 重建 / 生成

重建从已有输入出发，检验编解码后保留的信息；生成从学习分布采样新内容，可以带条件。

CFG · 无分类器引导

采样时组合有条件与无条件预测。引导强度改变输出质量、多样性，并可能改变计算量。

rFID / gFID

将 FID 应用于重建或生成图像集合。评估器与样本协议很重要，两者都不直接证明配对像素准确性或视觉理解。

Linear probe · 线性探针

在冻结特征上训练线性分类器。带 attention pooling 的输出头属于另一种非线性协议。

APE / RoPE

APE 提供绝对位置特征；RoPE 按坐标旋转 query/key 通道对，在 attention 中形成相对相位差。

Projection · 投影

学习矩阵改变向量宽度，不一定减少信息或序列长度。

Softmax

把实数分数变成和为 1 的正数；每项等于该分数的指数除以所有指数之和。

Cross-entropy · 交叉熵

单个观测类别 k 的损失为 −log p(k)；给正确类别更高概率可降低损失。

KL divergence · KL 散度

分布间对数密度比的期望；非负且通常不对称，需要说明前后分布顺序。

ELBO · 证据下界

边缘对数似然的下界。VAE 最大化期望重建对数似然减去近似后验到先验的 KL。

LayerNorm · 层归一化

按特征向量自身均值与方差归一化，再可选施加学习缩放和偏移；它不同于数据集级 latent 标准化。

Residual connection · 残差连接

将变换分支加回输入：y=x+F(x)。门控可控制分支贡献；它不同于残差量化。

LPIPS

基于学习视觉特征的配对感知距离。其网络和预处理是依赖，不是纯像素运算。

GAN · 对抗训练

训练判别器区分真实和生成样本，同时训练生成器产生能骗过它的样本；不同实现的损失形式不同。

NFE · 网络调用次数

采样器使用的函数评估次数。须说明调用哪个网络；小 MLP 与完整 Transformer 的调用成本不同。

ODE / Euler · 常微分方程 / Euler

ODE 指定状态对时间的导数；Euler 用当前导数乘时间间隔推进一步。有限步长通常引入数值误差。

LFQ · 无查表量化

将特征坐标量化为符号或 bit，不搜索显式存储的向量表；训练仍需要梯度估计及分布相关目标。

Straight-through · 直通估计

前向使用硬值或离散值，反向替换为可微规则；这是选定估计器，不是硬操作的精确导数。

LoRA · 低秩适配

用两个较窄矩阵的乘积表示权重更新 ΔW=BA；秩控制更新族的大小。

Gram matrix · Gram 矩阵

特征通道或向量间内积组成的矩阵。匹配它约束相关性，不强制精确像素对应。

KV cache · KV 缓存

保存较早 keys 和 values，使因果解码不必重算不变历史；双向上下文更新可能使该假设失效。

Bits per pixel · 每像素 bit 数

指定编码载荷除以图像像素数。名义固定长计数不含熵编码、头信息、模型权重或容器开销。

Temperature · 温度

改变概率分布或对比分数尖锐程度的缩放参数；具体含义取决于公式和采样实现。

Guidance / rejection · 引导 / 拒绝采样

引导改变采样预测；拒绝采样从已生成候选中筛选子集。两者都可能改善指标，同时改变多样性和成本。