PART 1 · 背景
约 100 个质检员，从没被考核过
判定型 checker 天天给专家的题盖章，却没人量过它盖得对不对。
≈100
判定型 checker 在线盖章
0
建过准确率考核的
= 放养
判得对不对全靠体感
一个「见题就 pass」的傻瓜 checker
90%
若真实坏题只占 10%，它啥都不判、全放行，「准确率」照样 90%。通过率 / 失败率完全测不出它是废物。
真正该看的是这两类错 · 混淆矩阵
AI 判「打回」
AI 判「通过」
真坏题
TP 拦对应该的
FN 漏放坏题流出 →返工/信誉
真好题
FP 误杀好题被拦 →专家返修/流失
TN 放对应该的
这两格才是「准确率」，恰恰是现在完全没量的。
PART 2 · 调研
大厂的答案：验证集 + 准召 + 飞轮
海外三家把「judge 判得准不准」做成了标准动作——在线抽样打分 → 低分进人工 → 写回标准答案 → 改 prompt → 回归门禁，滚成飞轮。
定位声明
只学方法论，不采购、不自托管（数据出境）。下图为手绘示意，非官方截图。
生产飞轮 · 6 步闭环
① 落库生产日志落库所有判定 / trace 实时进表
→
② 采样在线采样打分分层抽样·异步不占时延
Braintrust Online Scoring
Braintrust Online Scoring
→
③ 队列低分进人工队列低于阈值自动派人
Human Review / Annotation Q
Human Review / Annotation Q
→
④ 写回人工确认写回数据集标签写进 expected 变 golden
write to expected
write to expected
→
⑤ 改改 prompt / 回灌纠正样例做 few-shot·追一致率
Align Evals / Kappa
Align Evals / Kappa
→
⑥ 门禁回归门禁上线golden 双跑 diff·过才发
Experiments Diff
Experiments Diff
↻
⑥ 的产物又反哺 ①，闭环滚动。三家分别把其中一环做成招牌能力，下面各还原一张。
Braintrust · 在线打分 + 复核写回 expected 范本
+6.2%▲
Brand Alignment
−3.1%▼
Factuality
+11%
Coverage
vs baseline
Diff mode 开
Input（test case）Baseline对比实验Δ
白酒经销商返利政策差异…72%89%+17
电池供应商变更时间线…81%63%−18
行业白皮书渗透率口径…55%78%+23
✓ 正确⚑ 误杀⚑ 漏放
☑ Write to expected field
LangSmith · Align Evals 纠正回灌 few-shot 范本
78%Alignment Score · judge 与人工一致率（本轮）
▶ Start Alignment
ExampleHuman（GT）LLM judge
题面质量：信源可考性…44
凑分作弊：拆步注水…52
图文一致性：型号标注…14
难度区分度：口径差异…33
Langfuse · human × judge 混淆矩阵 / Kappa 范本
1,204
Matched 配对
0.83
Cohen's κ · Almost Perfect
0.79
F1
88%
Agreement
judge pass
judge fail
人工 pass
612
38
人工 fail
51
503
PART 3 · 现状
我们量了「跑得好不好」
insight 4 个 checker / 模型 tab + 1 个自建告警机器人，全在量运行健康度；没有一个回答「判得对不对」。
模型稳定性已有
失败率 · agent 失败归类饼图。
答「跑挂了多少」
答「跑挂了多少」
PE / Checker 通过率已有
checker 通过率。
答「过了多少」
答「过了多少」
项目看板 · 成本已有
AI Checker 成本 · 质检时长。
答「花了多少钱 / 多久」
答「花了多少钱 / 多久」
周会 · 20 指标已有
失败率 / 耗时 P90 / 废弃 / 一次通过。
答「这周整体怎么样」
答「这周整体怎么样」
告警机器人自建 · 非 tab
checker 失败率小时级预警。
答「挂了立刻叫」
答「挂了立刻叫」
缺口 · 一眼看清
✅ 已量：跑得好不好
✅失败率 跑挂了多少
✅通过率 过了多少
✅耗时 P90 跑多久
✅成本 花多少钱
✅稳定性 挂没挂
❌ 没量：判得对不对
❌误杀率 FP 杀了多少好题
❌漏放率 FN 放了多少坏题
❌与人工一致率 κ / Agreement
❌准 / 召回 整张记分卡
∅—— 空缺 ——
通过率 ≠ 准确率 · 失败率 ≠ 误杀率 → 缺的就是右边这一列
PART 4 · 待做
补上那张记分卡
给每个 checker 建判定准确率层：三层落地（生产信号白拿 → 盲区标注 → 回归门禁），先零成本跑起来。
L1
生产信号白拿 —— 第一版记分卡零标注
专家备注证误杀 FP + 质检打回评语证漏放 FN，一个 JOIN 直出记分卡
L2
盲区抽样标注 —— 补齐误杀率
被拦没留言的题查不到真值，分层抽样进人工队列攒 golden set
L3
回归门禁 —— 改动先考试
改 prompt / 换模型先过 golden 回归，涨绿跌红 diff，过门禁才上线
落到 insight · Checker 记分卡（新 tab）
维度 × 项目热力图
题面
凑分
难度
rubric
整体
项目A
A
A
B
A
—
项目B
C
C
C
C
—
项目C
D
—
D
D
—
项目D
C
D
D
C
—
单卡 · 混淆矩阵
判打回
判通过
真坏
TP41⁺
FN 漏放74 · 评语
真好
FP 误杀152 · 备注
TN3,290 · 白捡
格内计数为演示 · 字母评级引自本次红黑榜调研结论
调 prompt 平台 · 选型
本周可跑 · 0 研发
promptfoo + LiteLLM Key
每人已有调试 Key，零部署、数据不出内网，本周就能出第一版回归。
终态 · 2–5 天
insight 内嵌薄调试台
checker prompt 本就是库里一行配置，研发 2–5 天嵌进看板成闭环。
落地节奏
2 周 · POC
存量直出记分卡
L1 配对 ETL 试点 3 组 checker，不写标注 UI 就有第一版。
月度
扩全项目 + 建 golden
可测项目全覆盖，L2 标注队列上线滚动进账。
季度
门禁 + 动态抽样
L3 回归成默认流程，按表现加严 / 降频抽样。
延伸 · 配套成品