LLM 应用评测

是什么，为什么存在

LLM 应用评测是一份可执行的质量规格，用于输出可能变化的功能。它提供代表性输入，运行真实应用路径，记录输出和轨迹，应用评分规则，再把结果与发布阈值比较。受测单元通常是整个应用，而不只是基础模型。

这个区别很重要。检索助手的回答取决于文档选择、提示词组装、工具结果、模型设置、输出解析和后处理。模型基准无法告诉你，检索器是否选中了过期政策，也无法发现引用渲染器是否挂错了来源。

普通单元测试仍负责确定性契约，例如模式解析、权限检查、算术、路由和纯转换。评测负责存在多个可接受答案，或需要判断的行为，例如依据充分性、任务完成度、语气或拒绝行为。两者应当配合使用，能由代码确定的事实仍应交给断言。

修改提示词、模型快照、检索索引、工具定义、记忆策略或护栏时，你都会用到评测。评测也能把生产故障变成长期保留的用例。没有评测时，一个经过打磨的演示就可能被当成证据，尽管它只抽到一个提示词和一次走运的生成。

工作产物是一套版本化的 语料库（corpus） ，其中包含用例和标签。每个用例都应说明存在原因、所代表的用户或风险切片、哪些输入固定、哪些行为允许变化，以及怎样判定失败。即使无法复现完全相同的生成文本，也要保存足以重建应用配置的来源信息。

评测结果是一套决策系统，包含逐行观察、聚合规则、不确定性和明确发布政策。有用的结果会指出哪些行为发生了变化、变化多大、影响哪些用户、基于什么配置，以及这种变化是否允许。

单个用例的契约

实用的用例有四层。输入层包含用户请求和受控上下文；执行层标识应用版本、模型配置、工具和试验次数；评分层定义检查与评分标签；决策层说明该用例只供观察、参与加权，还是构成硬门槛。

预期行为应比一段固定答案更窄。对于客服回答，契约可以要求正确写出 30 天期限，禁止虚构订单状态，要求引用给定政策，并限制回复长度。许多不同措辞都能满足这些观察条件。

有些用例需要参考答案，有些不需要。精确抽取和分类通常有稳定参考。开放式改写更适合带锚点示例的评分量表；安全与访问控制行为通常需要确定性不变量或人工审查。

套件是产品契约的抽样

有限套件无法代表所有生产请求。选择用例时，应把它视为对重要产品行为的抽样，而不是收集手边恰好有的提示词。套件应包括常见流量、高代价故障、边界输入、多语言请求、长上下文、对抗内容和已经发生过的事故。

在看到候选结果前定义切片。有效的切片应对应机制或产品义务，例如检索深度、地区、客户等级、输入长度、工具路径或安全类别。事后切片有助于诊断，但只用最有利的切片支持发布结论，并不是有效的交付门。

用例需要明确所有者和评审过程。产品专家定义好答案应做到什么，工程师保证执行可复现，安全人员负责滥用用例，标注人员按量表评分。一个人默默兼任四种角色时，隐藏假设很容易变成标签。

工作原理

一次评测运行应固定所有可控因素，对剩余变量抽样，并保存证据。至少要记录用例集修订版、应用提交、提示词或工作流修订版、模型标识符、推理参数、工具夹具、评审器版本、受支持时的试验种子，以及运行时间。

一次运行按以下顺序进行：

1. 在不查看候选输出的前提下选择锁定的评测集。
2. 让基线和候选版本处理相同输入，并使用相同的受控依赖。
3. 捕获最终输出，以及相关的检索、工具、延迟、词元和错误数据。
4. 先执行确定性检查，再调用主观评审器。
5. 用评分量表、人工评分者或校准后的评审器评价其余输出。
6. 按具名切片聚合，再把每项指标与对应阈值比较。
7. 在接受或拒绝候选版本前检查发生变化的记录。

让基线和候选版本配对处理相同用例，可以消除一种噪声来源，即输入组合不同。如果生成具有随机性，应对每个用例和配置运行多次独立试验。当服务商条件或外部工具可能在长时间运行中漂移时，应交错发出请求。

原始观察与派生指标要分开保存。一次回复可以产生多项观察，例如模式有效性、引用精度、任务完成度、延迟和人工评分。根据这些字段派生发布指标，才能在改变聚合规则时不必重新生成，也不会丢掉原始证据。

明确指标语义

指标名称必须说明什么算一次观察。case_pass_rate 可以表示某次生成的所有标准都通过，criterion_pass_rate 则可以对用例内部的检查取平均。即使两者都显示为百分比，回答的问题也不相同。

多次试验策略也需要准确命名。pass@k 奖励多次尝试中至少成功一次，适合能够展示或验证多个候选结果的产品。pass^k 要求每次尝试都成功，适合可靠性声明。如果产品实际只生成一次，就不能在没有说明映射关系的情况下用其中任何一个描述产品。

对于排序或推荐，应先决定指标评价最终选中的条目、完整有序列表，还是任意合格条目的存在。对于智能体，还要区分最终答案质量和轨迹属性，例如未授权调用、步骤过多和未恢复的工具错误。智能体可能走过不安全路径，最后仍输出看似正确的文字。

成本和延迟是与质量并列的约束，不应混入一个无法解释的分数。分别报告其分布并应用独立预算。如果团队选择效用公式，就要记录单位和取舍，以免微小质量变化悄悄为大幅成本增长开脱。

从行为构造用例，而不是从措辞构造

从生产任务类别和故障记录开始。为每个类别编写一个普通用例、会改变预期行为的边界用例，以及外观相似但评分应不同的反例。删除近似重复项，避免一种常见模板支配聚合结果。

合成用例有助于覆盖罕见边界，但它们可能继承生成器的习惯，遗漏混乱的真实用户语言。清楚标注其来源，并与经过同意的生产模式样本比较。在生产数据进入夹具或评审器提示词前删除个人数据和机密。

为发布决定保留一组未公开用例。如果不断根据所有用例调整提示词，套件就变成了开发数据，其分数会偏乐观。较小的可见开发集配合锁定的回归集，既能快速反馈，也不会假装反复接触用例毫无影响。

选择成本最低且可信的评分器

对于代码能够确认的事实，使用程序检查，例如 JSON 有效性、必填字段、精确标识符、允许的引用、数值容差、工具调用参数、禁止泄露的机密或执行成功状态。这些检查速度快、可重复，也容易调试。

无法枚举所有合格输出时使用评分量表。为每个分数定义一项标准，说明评分者可以使用哪些证据，并加入边界示例。「回答很好」不是量表；「陈述政策期限，区分资格与批准，并且不作超出给定政策的断言」才是。

高风险语义、争议标签和评审器校准适合人工审查。LLM 评审器在与人工标签比较后，可以大规模应用稳定量表，但它仍是另一个基于模型的组件。应为其提示词和模型建立版本，测试顺序效应，并为低置信度或阻止发布的记录设置升级路径。

聚合时不要抹掉故障

先在用例级计算指标，再求平均值。同时报告分母和缺失结果；超时与评审器错误不能从计算中消失。应预先决定基础设施故障是触发重试、计为应用故障，还是让本次运行因结论不明而中止。

只有权重确实反映已记录的产品优先级或流量模型时才使用权重。权重编码发布政策，因此需要依据。加权分数应与未加权结果、切片结果一起发布，避免大量简单用例掩盖少量关键用例。

硬门槛位于平均值之外。抵抗提示词注入、禁止未授权工具调用、禁止个人数据泄露，或必须包含的法律声明，都可能要求发布集中零个已知失败。总体阈值通过，永远不能补偿这类不变量被破坏。

在运行前设定回归阈值

阈值把分数转换成发布决定。它可以要求绝对下限、限制相对基线的下降、要求目标切片提升，或者组合这三种条件。要明确写出方向、容差、最小样本量，以及如何处理不确定性。

例如：「有依据回答的通过率不得低于 92%，任何具名地区的回归不得超过 3 个百分点，并且每个授权用例都必须通过。」这是可测试的条件。「质量应该差不多」会诱使团队在看到分数后改变决定。

阈值附近的小幅变化通常只是噪声。保留试验级结果，计算区间，或使用与指标匹配的配对检验。如果数据无法区分允许变化与禁止回归，应把运行标记为结论不明并收集更多观察，而不是把数值取整后放行。

保留决策记录

运行摘要应标明基线、候选版本、套件修订版、评审器修订版、阈值和最终状态。每个聚合结果都应链接到用例级记录。评审者应能重新计算决定，而不必相信评测工具生成的文字说明。

即使运行通过，也要记录警告，例如切片数量过少、评审器分歧、重试过的基础设施错误或变化的外部夹具。这些情况不一定阻止发布，但省略它们会把有条件的结果说成比证据支持的结论更强。

把决定与修复分开。交付门失败表示候选版本不符合当前政策，并不能证明是哪个提示词或组件造成了变化。先用轨迹和受控实验诊断，再对修订后的候选版本运行原封不动的交付门。

示例

下面的示例评价已经记录的候选输出，因此不需要服务商密钥也能运行。在生产评测工具中，生成步骤会写入同类记录，并附上完整配置元数据。所有输出均由本地 Node 24 实际运行得到。

在灵活文本上叠加精确检查

第一个评测工具允许不同措辞，但会机械检查产品能够确定的断言。每个用例列出必须出现和禁止出现的子字符串；真实套件还会使用结构化解析器、引用标识符和政策查询。

这个评分器刻意保持简单。子字符串检查只能发现某段文字是否出现，不能判断周围断言是否正确。当否定、归因或范围会改变含义时，应把每项检查视为一个信号，并增加语义或结构化检查。

这些用例测试的是应用行为，而不是文采。未知订单回答没有虚构状态，还给出了下一步操作。更长的回答不会自动更好，参考字符串也不应把所有有效输出限制成一种措辞。

把硬门槛留在平均值之外

这条发布规则为核心发票行为设置更高权重，同时把注入用例保留为硬门槛。加权分数超过了下限，发布仍然失败。

const results = [
  { id: "invoice-total", score: 1.0, weight: 4, hardGate: false },
  { id: "locale-date", score: 0.75, weight: 2, hardGate: false },
  { id: "prompt-injection", score: 0.0, weight: 1, hardGate: true },
  { id: "concise-tone", score: 1.0, weight: 1, hardGate: false },
];

const weightedPoints = results.reduce(
  (sum, result) => sum + result.score * result.weight,
  0,
);
const totalWeight = results.reduce((sum, result) => sum + result.weight, 0);
const weightedScore = weightedPoints / totalWeight;
const aggregatePass = weightedScore >= 0.8;
const hardGatesPass = results
  .filter((result) => result.hardGate)
  .every((result) => result.score === 1);

console.log(`weighted score: ${weightedScore.toFixed(3)}`);
console.log(`aggregate threshold: ${aggregatePass}`);
console.log(`hard gates: ${hardGatesPass}`);
console.log(`release: ${aggregatePass && hardGatesPass}`);

weighted score: 0.813
aggregate threshold: true
hard gates: false
release: false

输出把两个决定分别展示出来。如果脚本只打印 release: false，评审者就无法判断阻止发布的是整体质量还是一项不变量。运行产物应保留指标值、交付门结果和失败用例标识符。

在成熟套件中，权重和阈值应位于经过评审的配置里，而不是临时脚本中。修改任何一项都会改变产品发布政策，应接受与行为变更相同的审查。

捕获总体结果掩盖的切片回归

这些计数代表重复的用例与试验观察。候选版本的总体下降仍在允许的 3 个百分点内，但长上下文切片下降了 15 个百分点，超过其 5 个百分点的切片容差。

const slices = [
  { name: "routine", baseline: 36, candidate: 37, trials: 40 },
  { name: "long-context", baseline: 16, candidate: 13, trials: 20 },
  { name: "prompt-injection", baseline: 10, candidate: 10, trials: 10 },
];

const rate = (passed, trials) => passed / trials;
const total = (field) => slices.reduce((sum, slice) => sum + slice[field], 0);
const trials = total("trials");
const overallDelta = rate(total("candidate"), trials) - rate(total("baseline"), trials);

for (const slice of slices) {
  const delta = rate(slice.candidate, slice.trials) - rate(slice.baseline, slice.trials);
  const passed = delta >= -0.05;
  console.log(`${slice.name}: ${(delta * 100).toFixed(1)}pp, pass=${passed}`);
}

const overallPass = overallDelta >= -0.03;
const slicesPass = slices.every(
  (slice) => rate(slice.candidate, slice.trials) - rate(slice.baseline, slice.trials) >= -0.05,
);
console.log(`overall: ${(overallDelta * 100).toFixed(1)}pp, pass=${overallPass}`);
console.log(`release: ${overallPass && slicesPass}`);

routine: 2.5pp, pass=true
long-context: -15.0pp, pass=false
prompt-injection: 0.0pp, pass=true
overall: -2.9pp, pass=true
release: false

百分点变化直接比较两个比率，并不是百分比变化。示例中的样本太少，单独使用不足以支持可信的生产决定。真实报告应附上区间和底层配对记录；区间跨过允许的回归边界时，应收集更多试验。

固定切片阈值还能阻止一种很诱人的失败处理方式，即不断重新定义「长上下文」，直到结果通过。切片定义和最小分母应写进生成前使用的套件修订版。

陷阱

针对演示集调优

修复方法： 把开发示例与锁定的发布集分开，根据事故和抽样任务类别增加用例，并按预先声明的切片报告结果。在评审下轮换或扩充锁定集，同时不向提示词调优循环暴露标签。

使用一个含糊的评审分数

修复方法： 把评分量表拆成可观察标准，并为每个分数设置锚点。使用盲测人工标签校准评审器决定，记录分歧，并把关键或模糊记录交给人工复核。

允许平均值补偿禁止行为

修复方法： 把不可补偿的行为定义为硬门槛，放在加权聚合之外。打印失败交付门的标识符，保存对应轨迹，并要求明确修复或接受风险，不能把它们藏进小数分数。

把一次生成当作用例结果

修复方法： 让两个配置处理相同输入，按照决策风险确定的次数重复试验，并保留试验级观察。使用区间或合适的配对分析；证据太弱时，允许结论不明的状态。

污染用例或评审器上下文

修复方法： 把生成输入与只供评审器使用的字段分开，限制对锁定标签的访问，清理来自生产环境的用例，并记录每个组件收到的确切字段。受污染的用例应重新构建，不能继续与已经泄漏的基线比较。

延伸阅读

• OpenAI：评测最佳实践
• Anthropic：定义成功标准并构建评测
• Google Cloud：生成式 AI 评测服务概览
• Microsoft Foundry：生成式 AI 通用评审器