先厘清“准确”包含哪些维度
当开发者问“这个回答准不准”时,往往把几件事混在一起。拆开来看,至少有五类可分别观察的属性:
- 事实性:回答中的断言是否与可靠来源一致。
- 相关性:是否回答了被问的问题,而不是答了一个相邻的问题。
- 完整性:关键条件、前提和例外是否给出,是否存在“结论对但少说一半”的情况。
- 自洽性:同一模型对同一问题的多次回答之间、以及回答内部各句之间是否矛盾。
- 校准度:模型表达的语气(“确定”“通常”“可能”)是否与它实际正确的概率匹配。
这些维度并不总是同向。一个回答可能完全正确但极短,被粗略评价为“敷衍”;也可能措辞流畅、结构完整,却在关键事实上出错,被评价为“很好”。如果不先把维度拆开,评估结果就很难复用,也无法定位问题出在提示词、检索上下文还是模型本身。
还有一个容易被忽略的维度是可验证性:回答是否指明了依据的类型或范围(例如“依据某标准的相关条款”“这是经验做法,没有统一规定”),而不是把所有内容都用同一种确定的语气说出来。
第一步:把评分标准写成可执行的文档
不要用“好/不好”直接打分,而是分档,并为每一档写明判定条件。下面的三档标准适合大多数问答场景,可以直接改成自己团队的版本:
| 分数 | 判定条件 |
|---|---|
| 2 | 关键断言全部有依据;覆盖问题要求的全部子问题;不确定性表达与证据强度匹配 |
| 1 | 关键断言正确,但遗漏一个次要子问题,或存在不影响结论的小错误 |
| 0 | 关键断言错误、编造依据、答非所问,或对无依据内容使用确定语气 |
关键操作是先标注“关键断言”,再打分。整体印象分最大的问题是不可复现:换一个人、换一天,同样的回答可能得到不同分数。要求标注者先列出回答中的关键断言,再逐条判断“支持、矛盾、未知”,最后汇总成分数,一致性会明显提高。
标准写完后,可以让两名标注者独立标注同一批 20 条样本,统计一致率。不一致的条目不要急着争论分数,而要回看标准本身是不是写得含糊:多数分歧来自标准没有定义“关键”,而不是标注者水平不同。
第二步:构建小而分层的评估集
评估集不必一开始就很大,但要覆盖主要的失败模式。实践中可以从以下规模起步:
- 规模:单轮任务 50 到 200 条。只要足以区分不同版本之间的差异即可,追求数量而牺牲标注质量通常得不偿失。
- 分层:简单事实题、需要多步推理的题、应当拒答的题(无答案或超出范围)、边界输入(空问题、超长输入、含歧义的问题)。每层都要有足够样本,否则平均分会被简单题主导。
- 来源:线上真实请求的脱敏抽样、客服或 issue 记录、领域文档中的事实点。真实请求的分布通常比人工编造的题目更“脏”,也更有价值。
每条样本建议采用“必须点 + 禁止点”,而不是完整范文:
{
"id": "case-001",
"prompt": "……",
"must_mention": ["必须出现的关键结论", "必须提到的前提条件"],
"must_not_mention": ["明确错误的说法"],
"allow_refusal": false,
"difficulty": "medium"
}开放式问答的措辞不唯一,用完整范文做精确匹配几乎必然误判;而“必须出现哪些要点、不能出现哪些错误说法”既能自动化,又不会被同义改写轻易击穿。
第三步:用代码把校验自动化
3.1 把回答切成可核查的片段
人工评审时需要逐句核对,自动校验也需要一个切分粒度。下面的启发式切分只是起点,真实项目里更稳妥的做法是让模型先输出结构化的断言列表,再用规则校验:
import re
from dataclasses import dataclass
SENT_SPLIT = re.compile(r"[。;;!!??\n]")
def split_claims(text: str, min_len: int = 6) -> list[str]:
"""按标点切分,过滤过短片段。这是启发式,不是语义切分。"""
parts = [p.strip() for p in SENT_SPLIT.split(text)]
return [p for p in parts if len(p) >= min_len]3.2 基于要点覆盖自动打分
from dataclasses import dataclass
@dataclass
class Case:
id: str
prompt: str
must_mention: list[str]
must_not_mention: list[str]
allow_refusal: bool = False
def score_by_points(answer: str, case: Case) -> dict:
missing = [m for m in case.must_mention if m not in answer]
violated = [m for m in case.must_not_mention if m in answer]
total = len(case.must_mention) or 1
hit = len(case.must_mention) - len(missing)
return {
"id": case.id,
"coverage": hit / total,
"missing": missing,
"violated": violated,
"pass": not missing and not violated,
}子串匹配有明显的局限:同义表述会漏判,单位换算会漏判,否定句会误判(“不需要配置 X”里包含了“X”)。因此 must_mention 里的条目要尽量选不易改写的专有名词或结论性短句,must_not_mention 则最好改用带边界条件的正则,并单独为否定句式写测试。
3.3 每次运行都落盘,便于比较
import hashlib
import json
from pathlib import Path
def run_eval(cases: list[Case], answer_fn, out_path: str = "eval_result.json") -> dict:
rows = []
for case in cases:
answer = answer_fn(case.prompt)
row = score_by_points(answer, case)
row["prompt_sha"] = hashlib.sha256(case.prompt.encode()).hexdigest()[:12]
row["answer"] = answer
rows.append(row)
result = {
"total": len(rows),
"pass_rate": sum(r["pass"] for r in rows) / max(len(rows), 1),
"rows": rows,
}
Path(out_path).write_text(json.dumps(result, ensure_ascii=False, indent=2))
return result除了总通过率,还应当分别输出每一层的通过率、平均覆盖率、以及“禁止点被触发”的条数。只看总分会掩盖某一类问题的集中退化,例如拒答题的错误率上升,而简单题的提升把平均分拉了回来。
3.4 用 pytest 做回归
把评估集变成测试用例,改动提示词或切换模型后重跑,是最省力的实践:
import pytest
def load_cases(path: str) -> list[Case]:
... # 按需实现,从 JSONL 读取并构造 Case 对象
@pytest.mark.parametrize("case", load_cases("cases.jsonl"), ids=lambda c: c.id)
def test_case_pass(case, answer_fn):
answer = answer_fn(case.prompt)
result = score_by_points(answer, case)
assert result["pass"], f"缺少 {result['missing']},出现 {result['violated']}"如果答案是随机或非确定性的,就不要让测试对单条样本做绝对断言,而是对一批样本统计通过率是否低于阈值,或在调用时固定温度和随机种子。
3.5 用模型做评审时的注意事项
当评估集大到人工标注不现实时,可以用模型评审,但需要约束:
- 盲评:不要告诉评审模型哪个回答来自哪个版本;成对比较时交换 A/B 顺序各评一次,减少位置偏好。
- 给评分标准,而不是问“哪个更好”:把分档条件原样放进评审提示中,并要求先输出断言列表再给分数。
- 抽检与校准:抽 10% 到 20% 的样本人工复核,统计负责人与模型的一致率。如果一致率过低,评审结论不能用于版本决策。
- 警惕系统性偏差:评审模型通常偏好更长的回答,也可能对同族模型的输出打分偏高。可以把长度作为控制变量,或对长短样本分别统计。
常见错误
- 用几个印象深刻的样例下结论。 单条 bad case 只能说明存在该失败模式,不能说明整体水平;同样,一条惊艳的回答也不能代表平均表现。
- 只看平均分。 分布、长尾、各层通过率同样重要,尤其是应当拒答的场景。
- 用字符串精确匹配评估开放式回答。 措辞一变就判错,最后评估的其实是措辞相似度,而不是正确性。
- 评估集污染。 题目本身可能出现在模型训练数据里,导致离线分数虚高。尽量使用内部场景题或改写过的题目。
- 不评“该拒答时是否拒答”。 一个从不拒答的模型在事实题上往往分数不低,但在无答案问题上会持续编造。拒答率和错误拒答率要分别统计。
- 把流畅度当成准确度。 语言质量和事实正确性是两个维度,需要分开打分。
- 改完提示词不重跑回归。 提示词的局部修改经常带来其他场景的退化,没有基线就无法发现。
- 忽略成本与延迟。 准确性提升往往伴随更长的上下文或更多调用次数,评估报告里应当同时记录这些指标,否则无法做取舍。
适用边界与局限
- 开放式创作类任务没有唯一答案。 写文案、起名字这类任务只能评估约束满足(格式、长度、禁用词)和风格一致性,不能简单套用事实性打分。
- 专业领域需要专家参与。 法律、医疗、财务等领域的正确性判断,通用模型评审的可靠性不足,人工专家仍然是必需的,成本也要提前计入。
- 自动指标有脆弱性。 BLEU、ROUGE 一类指标衡量的是与参考文本的相似度,在问答场景中与人类判断的相关性通常较弱,更适合作为辅助信号。
- 评估集永远小于真实分布。 结论只对评估集覆盖的失败模式有效;上线后用户会追问、会带上更长的上下文,离线分数不能直接等同于线上质量。
- 评估是用抽样逼近。 样本量小时,版本之间的差异可能落在噪声范围内,做决策前应当先估算这种波动的量级。
比较务实的做法是:先用几十条高质量样本把评分标准打磨到可复现,再逐步扩充评估集,并把评估脚本接入持续集成。准确性评估不是一次性任务,而是一套随产品演进的度量基础设施。