先说结论
以业务任务标识关联检索、模型、工具和外部结果,默认记录阶段、状态、耗时、版本与必要用量。完整消息和工具参数只在获授权且确有必要时采集,并控制脱敏、访问和保留。技术调用成功与业务任务成功要分别记录。
读完你会得到
- 任务、调用与业务结果用不同标识和状态关联。
- 默认采集元数据,内容采集需要独立考虑权限与保留。
- 可观测性应帮助下一步处理,而不只是显示一张调用树。
一次任务用了 40 秒,团队却不知道时间花在模型、检索还是重试。另一套系统虽然记录了所有消息,却把客户资料和 token 放进普通日志。本文用一条工单任务说明怎样取得必要诊断信息,同时减少内容暴露。
配套资料与延伸阅读
- 企业 AI Agent 开发检查清单:从工具权限到上线评测(阅读)
相关方法与实施说明
- 16|系统上线之后,谁来用、谁来维护、出了问题怎么办?(阅读)
相关方法与实施说明
- 企业 AI / FDE 服务(了解)
可用一条脱敏任务的阶段、时长与结果讨论 AI / FDE 系统的监控和诊断入口。
先定义三个不同的成功状态
模型生成完成,工具调用成功,业务任务完成是三件事。模型完成只代表生成结束;工具返回成功可能只代表受理;业务完成需要权威系统状态或用户确认。把它们都写成 success,会让报表误报质量。
例如工单工具返回对象编号,说明工单创建;客户问题是否解决要看后续处理。追踪系统应保留这层差异,避免把 API 成功率当作业务解决率。
任务标识连接整个过程,每次尝试和调用另有标识,必要时关联外部业务对象。标识用于追踪,不能替代访问授权。
默认元数据可以记录什么
| 字段类别 | 用途 | 避免的内容 |
|---|---|---|
| 任务及阶段 | 定位当前步骤与最终结果 | 完整客户原文作为标签 |
| 配置版本 | 复现模型、规则、工具与索引变化 | 秘密配置值 |
| 状态与错误类型 | 区分拒绝、临时失败、结果未知 | token 和完整内部堆栈 |
| 时长与尝试次数 | 定位队列、慢工具和重试 | 任意高基数用户隐私标签 |
| token 与用量 | 估算调用负担与成本 | 不必要的完整生成内容 |
| 证据与对象标识 | 核对来源与业务结果 | 无权限的正文或下载链接 |
这些是本文自定义字段,不是 OpenTelemetry 的完整标准。真正接入时按当前 SDK 和语义约定核对字段、稳定性及支持范围。
怎样把模型与工具连接到一个任务
OpenTelemetry 的 GenAI 介绍展示模型与工具的调用层级,以及模型、token、时长等遥测。它也说明完整输入与参数可能包含敏感信息;旧语义约定页面现已指向新的官方仓库,接入时不能只照搬旧页面。
在请求入口创建追踪上下文,传到检索、模型与工具封装,外部调用保留关联标识和结果。后台作业、回调或恢复任务也应能与原任务关联,但每次恢复记录新的尝试与当前配置。
注意并行调用的总耗时不能简单相加当作用户等待时间。分别观察墙钟时间、各阶段时间和累计资源用量,才能判断加并行是否真的改善体验。
本节依据: [1] OpenTelemetry
内容采集与脱敏要考虑整个链路
默认不保存完整消息与工具参数。确有诊断需要时,限定任务、字段和访问人员,并设置明确保留方式。采集器、导出器、后台、下载和备份都要检查,不能只在日志显示页面遮挡。
对凭证采用不采集或删除策略;对身份信息按必要性做脱敏。部分敏感信息藏在正文或工具返回中,单纯删除 Authorization 头不够。脱敏规则也需要测试,防止遗漏和误删诊断所需结构。
跨租户记录按当前权限隔离。不要让普通业务人员因为能打开追踪界面,就看到其他客户的资料。调试权限和业务权限分别约定,导出的报告同样受限制。
一条慢任务怎样定位
教学工单任务耗时 40 秒,记录显示检索 2 秒、两次模型调用共 8 秒、工单接口尝试与等待约 28 秒,其余是收尾。这个证据提示优先查看工具与重试,而非只压缩提示词。数字仅用于演练。
继续检查接口是否已经受理、是否发生重复尝试,以及客户端超时与总任务预算是否一致。如果记录只有最终错误字符串,补上阶段与尝试信息,才能解释等待从哪里来。
对于错误回答,查看实际证据标识、对象和版本;需要正文核对时通过受控内容入口读取。避免为每次普通诊断打开全部内容采集。
监控指标要能触发具体处理
| 观察项 | 需要区分 | 可采取的动作 |
|---|---|---|
| 业务失败率 | 模型、检索、工具和条件缺失 | 定位责任阶段,补回归或修接口 |
| 时延分布 | 正常任务与长异步任务 | 检查预算、队列和慢工具 |
| 重试量 | 临时故障与无效输入重复 | 调整错误处理与责任层 |
| 单位任务用量 | 成功、失败与接管任务 | 找无价值循环和过量上下文 |
| 权限拒绝 | 预期拒绝与配置故障 | 按授权记录检查,不直接开放权限 |
阈值与通知频率由业务需求决定。同一故障聚合通知,并给出任务范围、当前状态和处理入口。没有行动对象的告警容易变成噪音。
统计时保留样本数与任务类别。少量短查询与少量长分析混合,平均时延可能掩盖两者差异;按相同任务组查看分布更容易行动。指标标签采用有限类别,把具体任务标识放在受控追踪记录中,避免大量唯一标识造成监控开销,也避免把客户名称写进长期指标标签。
从一条任务建立最小追踪
先为一条重要任务连接入口、检索、模型、工具和业务结果,验证能解释一次失败与一次超时。确认记录不含凭证和无权内容,再扩展覆盖。
本文适合企业 Agent 与多步工作流。可观测性支持诊断,但不能替代业务正确性检查,也不需要记录模型私密推理过程。保留政策与访问范围遵循企业既有要求。
常见问题
不记录完整提示词还能排查吗?
很多时延、重试、版本与权限问题只需元数据。需要内容证据时可以对特定任务受控采集或读取,避免默认保存全部资料。
追踪显示所有工具成功,为什么任务仍失败?
工具成功可能只表示受理或局部完成。还要核对权威业务结果、状态和用户目标,并检查是否遗漏必要条件。
资料来源与核对说明
文章中的行业定义与技术方法尽量引用官方或标准组织资料;表格、清单和决策框架是基于这些资料形成的编辑性整理,不代表来源机构对本站服务的背书。
- Inside the LLM Call: GenAI Observability with OpenTelemetryOpenTelemetry
正文发表于 2026-05-14。说明模型与工具调用遥测、时长和 token 计数,以及内容采集的敏感数据风险。旧语义约定页面已迁移,本文字段为自定义示例。
带上流程、样例和目标,添加企业微信沟通。先确定项目范围与验收方式,再安排实施。


