跳到主要内容

第 2.17.2 节：用评测门禁和基线差异阻断质量倒退

方案是否能交付，不能只凭感觉，需要结合“用评测门禁和基线差异阻断质量倒退”的验收样例和实际证据。完成本节后，你应该能够写出评测门禁和基线差异的验收样例、通过/不通过标准、判断阈值和风险说明。

实现步骤或决策流程​

读图重点：先锁定同一批 fixture 和样例，再读 baseline diff：blocker 直接回修，warning 进入人工复核，没有阻断才发布。线上 trace 发现的新失败必须回写 regression_cases。

30 分钟实操​

首版直接使用仓库里的数据文件：

  • data/evaluation/agent_eval_gate.json：发布门禁阈值。
  • data/evaluation/regression_cases.jsonl：回归样例。
  • data/red-team/security_red_team_cases.jsonl：安全红队样例。
  • 6 个 examples/*/eval/：作品集最小包自己的 dataset、rubric 和 baseline。

运行：

cmd /c npm run check:eval-gate
cmd /c npm run test:examples

这两个命令分别验证“全书级门禁数据存在且字段完整”和“6 个作品集最小包的 eval baseline 没有退化”。

Baseline Diff（基线差异）怎么读​

一次变更至少比较这些字段：

字段为什么重要
case_id保证同一批样例可重复比较。
expected_behavior避免把自然语言答案当唯一标准。
actual_status记录 answered、refused、handoff、blocked 等状态。
score便于聚合和趋势观察。
trace_id失败时能回放轨迹。
regression_type区分引用退化、权限退化、格式退化和成本退化。

版本与资料来源​

这些数据文件是教学用评测样例，适合学习如何设置门禁、基线和回归差异。进入真实项目时，必须重新核对当前评估平台、模型供应商、企业安全要求和客户验收口径。

继续学习​