FDE 项目怎么验收：一张 AI Agent 测试与放行表

Anthropic 在 Demystifying evals for AI agents 中区分任务、每次尝试、评分器、运行轨迹和最终状态。一个助手声称预约成功，不能代替系统里的预约记录。沿用这个区分，售后 Agent 的“已转人工”也要有可查的工单与接收人。

这些条目是本站建议的起始清单，业务负责人仍需补充实际发生过的失败。只读知识问答没有写入动作时，可把工单检查改为引用依据检查，但权限和缺少依据时的处理仍需验证。

假设一个教学测试集有 20 个任务，每个运行 2 次，共 40 次尝试。其中 36 次满足全部检查项，则逐次通过率为 36 ÷ 40 = 90%。如果只有 16 个任务两次都通过，则任务稳定通过比例为 16 ÷ 20 = 80%。两种数字回答的问题不同，应同时注明口径。

超时和执行失败也保留在事先约定的分母里，不因它们拉低分数就删除。确属测试环境配置错误的记录，应标注作废原因并重跑。不要只展示多次尝试中最好的一次。

如果出现跨客户数据泄露、未授权写入或错误外发，应按预先约定暂停相关功能，即使其他样例全部通过。示例中的 90% 不是推荐上线阈值；少量样例也不能证明生产环境的可靠性。

记录是否存在、字段是否匹配、有没有重复写入，适合用程序核对。解释是否完整、语气是否适合客户，需要业务人员制定判分标准。模型评分可帮助初筛，但应抽样与人工判断对照，检查它是否把“说得流畅”误当成“任务完成”。

Anthropic 的文章将基于代码、模型和人工的评分方法分开讨论，并建议检查运行轨迹来校准评价。本文的售后样例与暂停规则是编辑性应用，不是该机构规定的验收标准。

如果政策改变，把受影响的样例更新成新预期，并保留旧版本记录。正式试用期间继续收集真实失败；离线测试只能说明已覆盖条件下的表现。

AI随心创的企业 AI 咨询与 FDE 服务可以围绕你的任务讨论试点及验收方法。沟通时提供一条正常任务和一条失败任务，说明目前由谁判断结果；是否包含评测环境、系统接入及后续回归测试，应写入项目范围。