先说结论
Agent 故障先确认业务影响与外部动作状态,再沿任务记录检查输入、检索、模型输出、工具参数和服务结果。涉及越权或重复写入先暂停受影响动作;写请求结果未知时先查询,不能靠重新运行整条任务判断是否成功。
读完你会得到
- 先控制受影响动作,再分析模型是否答错。
- 查询权威业务状态,区分执行失败与响应丢失。
- 修复后保留失败回归案例和版本记录。
用户说“助手没有完成任务”,可能是回答错误,也可能是工具已写入但页面没收到结果。两个问题如果都用“重跑一次”处理,很容易制造重复工单。本文提供一条以业务结果为中心的排查顺序。
配套资料与延伸阅读
- 企业 AI Agent 开发检查清单:从工具权限到上线评测(阅读)
相关方法与实施说明
- 16|系统上线之后,谁来用、谁来维护、出了问题怎么办?(阅读)
相关方法与实施说明
- 企业 AI / FDE 服务(了解)
可用一条脱敏失败记录讨论 AI / FDE 系统的监控、停用和恢复设计。
先回答三件事:影响谁、发生了什么、还在继续吗
收集任务标识、用户或业务组、对象编号、时间和可见症状。不要让用户在群里粘贴完整订单、token 或客户聊天记录。诊断人员通过受控入口查看必要证据,普通通知只说明影响范围和当前处理。
若发现越权读取、重复业务写入或持续发送错误消息,先关闭相关动作或队列。保留只读查询能力有助于核对结果,但也要确认查询权限本身正常。不要在尚未了解影响时扩大重试或解除限制。
把“没有成功”分成不同状态
| 症状 | 优先确认 | 错误的常见处理 |
|---|---|---|
| 页面超时 | 业务系统是否已经受理或完成 | 直接重新创建同一业务对象 |
| 回答内容错误 | 输入版本、检索证据与输出条件 | 只凭文案风格修改提示词 |
| 工具参数错误 | 参数语义、对象映射与校验结果 | 让模型重复猜测同一参数 |
| 权限失败 | 身份、范围及权限是否发生变化 | 临时换成管理员 token |
| 任务卡住 | 当前阶段、等待对象与截止时间 | 无上限继续等待或重试 |
AWS 的重试指导强调限制重试、避免多层放大,以及非幂等调用的重复副作用。运行手册必须把可重试与需要人工处理的情况分开,不能只有一个通用“重新执行”按钮。
本节依据: [1] Amazon Web Services
沿调用链查看可解释的记录
从用户输入到最终业务结果,至少能定位检索、模型调用、工具调用和外部服务这几个阶段。记录时长、状态、版本以及必要的业务标识,判断是模型等待、检索失败还是工具重试占用了时间。
OpenTelemetry 的 GenAI 介绍说明可记录模型、token 和时长等信息,并提醒完整输入与工具参数可能包含敏感资料。本文建议默认记录结构化元数据,必要内容经过脱敏与授权后查看。不要把私密推理过程当作运维必须采集的字段。
同一个任务要能关联多个调用,但任务标识不是授权凭证。维护人员拿到一个标识,也要按权限查看;跨租户的记录不能因为进入同一追踪系统就互相可见。
本节依据: [2] OpenTelemetry
用一个重复工单案例练习定位
演练中,创建工单接口已经提交数据库,返回包在网络中丢失。Agent 认为失败,又创建了一次。排查先按业务请求标识查询工单,确认存在两条结果,再检查调用记录中是否复用了同一个幂等标识。
若工具每次重试都生成新标识,问题在意图与重试的绑定;若相同标识仍重复写入,问题在服务端一致性;若服务正确去重但页面显示两次,问题可能在回调或界面事件处理。分别修复,不能把三类问题统一归因于模型。
已经重复创建的记录由业务规则决定合并、取消或保留审计,恢复脚本不应擅自删除真实对象。这个场景是教学演练,应在隔离环境中复现。
恢复任务之前要检查当前状态
恢复前检查
- 核对配置和规则版本
记录任务开始时与恢复时的版本差异,判断是否需要重新确认。
- 查询外部动作
确认受理、执行、失败或结果未知,禁止用本地超时推断外部失败。
- 检查授权仍有效
暂停期间用户权限、内容或额度可能变化,执行前重新校验。
- 选择恢复方式
安全重试、从检查点继续、生成新的草稿或交给人工,说明选择依据。
- 核对恢复结果
检查业务状态与通知内容一致,确认没有漏处理或重复动作。
恢复不是一定回到原来的路径。若来源资料已撤回或业务条件已改变,任务应该停止并重新确认。保持旧计划继续执行,可能比失败本身更危险。
故障解决后留下能防止再发生的材料
记录触发输入、影响、原因、处置、版本和复测结果。把复现样本加入回归集,必要时更新工具错误说明、字段约定和告警。保持对真实业务结果的检查,避免修复后只验证 HTTP 返回成功。
告警要指向能处理的人。只报告“模型出错”很难行动;报告“退款查询结果未知,任务已暂停,需核对支付交易状态”更容易接手。保留去重和升级规则,避免同一故障连续通知拖垮值班人员。
未找到根因时如实记为未知,说明采取了什么限制以及还需什么证据。不要把恢复运行等同于原因已经解决。
复盘还要检查当时的告警是否到达正确的人、是否提供了可查询的任务入口,以及暂停动作之后旧队列是否仍继续执行。仅修复一条请求不能证明影响已经结束;负责人应核对受影响时间段的业务对象,按企业流程处理遗漏或重复结果。
如何从零准备运行手册
先选系统最重要的三类任务,列出失败阶段、查询入口、暂停方式、负责人和恢复前提。让一位非原作者按手册处理模拟异常,找到缺失步骤,再逐步扩充。
本文适合有工具与业务服务的 Agent。只读问答也需要排查检索、版本和权限,但恢复动作可以更轻。手册不能替代底层系统的专业事故响应,应该明确何时升级到接口或安全负责人。
常见问题
回答变差是不是应该先换模型?
先核对资料、规则、输入变化和检索结果,再比较同一任务下的模型表现。来源错误或接口失败通常不能靠换模型解决。
故障时可以临时使用超级管理员权限吗?
不要以扩大权限替代诊断。通过企业既有授权方式获取必要范围,并记录操作;否则故障恢复可能同时制造新的越权问题。
资料来源与核对说明
文章中的行业定义与技术方法尽量引用官方或标准组织资料;表格、清单和决策框架是基于这些资料形成的编辑性整理,不代表来源机构对本站服务的背书。
- REL05-BP03 Control and limit retry callsAmazon Web Services
用于限制重试、退避与抖动、避免多层重试放大;没有通用的固定超时或重试次数。
- Inside the LLM Call: GenAI Observability with OpenTelemetryOpenTelemetry
正文发表于 2026-05-14。说明模型与工具调用遥测、时长和 token 计数,以及内容采集的敏感数据风险。旧语义约定页面已迁移,本文字段为自定义示例。
带上流程、样例和目标,添加企业微信沟通。先确定项目范围与验收方式,再安排实施。


