Agent 可观测性怎么做:追踪任务结果,同时避免记录敏感内容

从业务任务到模型和工具调用建立追踪,记录版本、状态、耗时和成本,控制内容采集、访问与保留,避免日志成为敏感资料副本。

从任务到结果的可观察路径:任务入口(对象与配置版本、授权范围);检索与模型(证据标识、耗时、用量与结束状态);工具与外部(参数类型及结果、重试与业务标识);最终核对(业务完成或待确认、安全诊断入口)
原创示意:默认记录必要元数据,内容按授权处理。为本文原创示意图,不代表产品界面或客户案例。

先说结论

以业务任务标识关联检索、模型、工具和外部结果,默认记录阶段、状态、耗时、版本与必要用量。完整消息和工具参数只在获授权且确有必要时采集,并控制脱敏、访问和保留。技术调用成功与业务任务成功要分别记录。

读完你会得到

  • 任务、调用与业务结果用不同标识和状态关联。
  • 默认采集元数据,内容采集需要独立考虑权限与保留。
  • 可观测性应帮助下一步处理,而不只是显示一张调用树。

一次任务用了 40 秒,团队却不知道时间花在模型、检索还是重试。另一套系统虽然记录了所有消息,却把客户资料和 token 放进普通日志。本文用一条工单任务说明怎样取得必要诊断信息,同时减少内容暴露。

配套资料与延伸阅读

先定义三个不同的成功状态

模型生成完成,工具调用成功,业务任务完成是三件事。模型完成只代表生成结束;工具返回成功可能只代表受理;业务完成需要权威系统状态或用户确认。把它们都写成 success,会让报表误报质量。

例如工单工具返回对象编号,说明工单创建;客户问题是否解决要看后续处理。追踪系统应保留这层差异,避免把 API 成功率当作业务解决率。

任务标识连接整个过程,每次尝试和调用另有标识,必要时关联外部业务对象。标识用于追踪,不能替代访问授权。

默认元数据可以记录什么

一组自定义追踪字段示例
字段类别用途避免的内容
任务及阶段定位当前步骤与最终结果完整客户原文作为标签
配置版本复现模型、规则、工具与索引变化秘密配置值
状态与错误类型区分拒绝、临时失败、结果未知token 和完整内部堆栈
时长与尝试次数定位队列、慢工具和重试任意高基数用户隐私标签
token 与用量估算调用负担与成本不必要的完整生成内容
证据与对象标识核对来源与业务结果无权限的正文或下载链接

这些是本文自定义字段,不是 OpenTelemetry 的完整标准。真正接入时按当前 SDK 和语义约定核对字段、稳定性及支持范围。

怎样把模型与工具连接到一个任务

OpenTelemetry 的 GenAI 介绍展示模型与工具的调用层级,以及模型、token、时长等遥测。它也说明完整输入与参数可能包含敏感信息;旧语义约定页面现已指向新的官方仓库,接入时不能只照搬旧页面。

在请求入口创建追踪上下文,传到检索、模型与工具封装,外部调用保留关联标识和结果。后台作业、回调或恢复任务也应能与原任务关联,但每次恢复记录新的尝试与当前配置。

注意并行调用的总耗时不能简单相加当作用户等待时间。分别观察墙钟时间、各阶段时间和累计资源用量,才能判断加并行是否真的改善体验。

本节依据: [1] OpenTelemetry

内容采集与脱敏要考虑整个链路

默认不保存完整消息与工具参数。确有诊断需要时,限定任务、字段和访问人员,并设置明确保留方式。采集器、导出器、后台、下载和备份都要检查,不能只在日志显示页面遮挡。

对凭证采用不采集或删除策略;对身份信息按必要性做脱敏。部分敏感信息藏在正文或工具返回中,单纯删除 Authorization 头不够。脱敏规则也需要测试,防止遗漏和误删诊断所需结构。

跨租户记录按当前权限隔离。不要让普通业务人员因为能打开追踪界面,就看到其他客户的资料。调试权限和业务权限分别约定,导出的报告同样受限制。

一条慢任务怎样定位

教学工单任务耗时 40 秒,记录显示检索 2 秒、两次模型调用共 8 秒、工单接口尝试与等待约 28 秒,其余是收尾。这个证据提示优先查看工具与重试,而非只压缩提示词。数字仅用于演练。

继续检查接口是否已经受理、是否发生重复尝试,以及客户端超时与总任务预算是否一致。如果记录只有最终错误字符串,补上阶段与尝试信息,才能解释等待从哪里来。

对于错误回答,查看实际证据标识、对象和版本;需要正文核对时通过受控内容入口读取。避免为每次普通诊断打开全部内容采集。

监控指标要能触发具体处理

指标与行动的对应
观察项需要区分可采取的动作
业务失败率模型、检索、工具和条件缺失定位责任阶段,补回归或修接口
时延分布正常任务与长异步任务检查预算、队列和慢工具
重试量临时故障与无效输入重复调整错误处理与责任层
单位任务用量成功、失败与接管任务找无价值循环和过量上下文
权限拒绝预期拒绝与配置故障按授权记录检查,不直接开放权限

阈值与通知频率由业务需求决定。同一故障聚合通知,并给出任务范围、当前状态和处理入口。没有行动对象的告警容易变成噪音。

统计时保留样本数与任务类别。少量短查询与少量长分析混合,平均时延可能掩盖两者差异;按相同任务组查看分布更容易行动。指标标签采用有限类别,把具体任务标识放在受控追踪记录中,避免大量唯一标识造成监控开销,也避免把客户名称写进长期指标标签。

从一条任务建立最小追踪

先为一条重要任务连接入口、检索、模型、工具和业务结果,验证能解释一次失败与一次超时。确认记录不含凭证和无权内容,再扩展覆盖。

本文适合企业 Agent 与多步工作流。可观测性支持诊断,但不能替代业务正确性检查,也不需要记录模型私密推理过程。保留政策与访问范围遵循企业既有要求。

常见问题

不记录完整提示词还能排查吗?

很多时延、重试、版本与权限问题只需元数据。需要内容证据时可以对特定任务受控采集或读取,避免默认保存全部资料。

追踪显示所有工具成功,为什么任务仍失败?

工具成功可能只表示受理或局部完成。还要核对权威业务结果、状态和用户目标,并检查是否遗漏必要条件。

资料来源与核对说明

文章中的行业定义与技术方法尽量引用官方或标准组织资料;表格、清单和决策框架是基于这些资料形成的编辑性整理,不代表来源机构对本站服务的背书。

  1. Inside the LLM Call: GenAI Observability with OpenTelemetryOpenTelemetry

    正文发表于 2026-05-14。说明模型与工具调用遥测、时长和 token 计数,以及内容采集的敏感数据风险。旧语义约定页面已迁移,本文字段为自定义示例。

把文章方法用于你的真实业务

带上流程、样例和目标,添加企业微信沟通。先确定项目范围与验收方式,再安排实施。

查看企业 AI / FDE 服务 →
相机、麦克风和布光台上的雕塑,表现图片、视频与声音的创作
AI 生成 · 内容创作场景示意

把你正在做的事,
拿来一起聊聊。

还没有完整方案也没关系。选一个方向,带着下面几条信息联系团队,我们先了解问题,再确认下一步。

企业 AI / FDE 项目

先从一段具体流程说起。

  • 我们目前怎样完成这项工作?
  • 哪一步最费时间,或经常出错?
  • 已有的资料、系统和期望结果是什么?
Shopify 建站与经营

有店铺的话,可以一并发来链接。

  • 店铺是准备上线,还是已经在运营?
  • 销售什么商品,面向哪些市场?
  • 希望先解决哪个页面或经营问题?
内容创作与工具使用

说明准备制作的内容,或遇到的操作问题。

  • 想做图片、视频、配音,还是图文?
  • 已有素材、参考风格和使用场景是什么?
  • 如果使用时遇到问题,具体停在哪一步?
扫码添加随心创技术客服企业微信

微信扫码,发来你的问题

可以直接按提纲描述,也可以先发一句话。人工服务会在确认范围后单独报价。

手机上可保存二维码后识别。