第 2.17.1 节：先明确 Agent 评估到底评什么
进入实现之前，先围绕“先明确 Agent 评估到底评什么”划清适用场景、不做范围和判断条件。完成本节后，你应该能够写出评估对象与边界的适用场景、不适用场景、前置条件和进入工程实现的判断标准。
本章要解决什么问题
Agent（智能体）项目最容易出现一种假进步：一次 Prompt（提示词）改动让几个演示问题变好了，但旧问题、权限边界、引用质量或工具轨迹悄悄变差。没有评估与回归测试，团队只能凭感觉判断“效果不错”，这不够工程化。
本章把评估拆成三层：最终响应评估、轨迹评估和单步评估。最终响应回答“用户看到的结果对不对”；轨迹评估回答“系统有没有走正确工具、状态和审批路径”；单步评估回答“检索、重排、工具参数、权限判断这些局部动作是否可靠”。
5 分钟结论
| 问题 | 本章结论 |
|---|---|
| 为什么要做 eval（评估） | 因为 Agent 行为会随资料、Prompt、模型、工具和审批流变化而漂移。 |
| 首版测什么 | happy path、无资料拒答、权限不足、工具失败、提示注入、长上下文和高风险动作。 |
| 阈值怎么定 | 先把未授权工具调用、结构化输出合法率和黄金问题作为硬门禁。 |
| 失败怎么处理 | 失败样例进入 regression_cases（回归样例），下一次发布必须复测。 |
评估对象
| 评估层 | 看什么 | 示例失败 |
|---|---|---|
| Final Response（最终响应） | 答案、引用、拒答、格式、风险提示 | 无资料时编造答案。 |
| Trajectory（轨迹） | 工具顺序、状态转移、审批节点、停止条件 | 退款请求绕过审批直接执行。 |
| Single Step（单步） | 检索命中、工具参数、权限判断、脱敏结果 | token audience 错误但工具仍执行。 |