跳转到内容
Telemetry
AI代理监控

通过结构化事件监控 AI 智能体成本、工具使用和结果

在智能体、工具、模型和结果边界捕获紧凑事件,然后使用可检查的 SQL 将可靠性和成本与用户或业务工作流程收到的结果联系起来。

结果

  • 按工作流程和发布衡量成功的运行、切换、重试和工具故障。
  • 将代币成本和延迟与接受、拒绝或审核的结果联系起来。
  • 默认情况下,将原始提示、完成、文档和工具参数保留在分析路径之外。

它是如何运作的

从信号到决策的可审查工作流程

1

定义最终结果

每次完成的智能体运行或业务操作选择一行。记录状态、持续时间、工作流程、发布、移交、成本和安全关联标识符。

2

仅添加有用的组件事件

当工具和模型回答已知的可靠性、成本或质量问题时,记录工具和模型请求事件。不要复制整个跟踪或敏感负载。

3

价值加盟运营

记录验收、人工审核、任务成功或其他明确的产品结果,然后将版本与审核的 SQL 和完整分母进行比较。

Telemetry 中的 AI 智能体结果事件

Telemetry 中的 AI 智能体结果事件

实际的 Telemetry 工作区显示用于检查智能体运行、工具调用和终端结果的事件表和 SQL 界面。

边界

这不能取代什么

  • Telemetry 不摄取 OTLP 或提供分布式跟踪瀑布。将 OpenTelemetry 跟踪保留在兼容 OTLP 的后端中,并将选定的结果事件与安全跟踪或运行标识符相关联。
  • Telemetry 不会将提示、完成、检索到的文档或工具参数作为专用的 LLM 跟踪产品进行存储和重播。仅发送批准的、有界的字段。
  • Telemetry 不提供内置提示管理、评估数据集、实验或评分器执行。当需要这些工作流程时,保留专家评估平台。

可检查的证明路径

从事件契约到可见的答案

此示例使用声明的架构、只读 SQL 和确定性合成结果。它演示了工作流程,但没有提供示例数据作为客户基准。

1. 活动合约

一排进入 agent_run_outcomes,并明确查询所使用的类型。

timestamp_utc
Timestamp
workflow
Utf8
model
Utf8
status
Utf8
reviewer_outcome
Utf8
human_handoff
Boolean
浏览活动合同

2.只读SQL

哪些智能体工作流程成功完成并产生可接受的结果?

SELECT
  workflow,
  model,
  COUNT(*) AS runs,
  100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
  100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
    / NULLIF(SUM(CASE
      WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
    END), 0) AS reviewed_acceptance_rate_pct,
  100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
  AVG(duration_ms) AS average_duration_ms,
  SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;

3. 合成结果

退款审核在技术上完成,但比其他工作流程需要更多的修改或人工接管。

工作流程modelruns
support_triageconfigured-model-a1840
refund_reviewconfigured-model-b620
knowledge_draftconfigured-model-a940
检查查询、结果和警告

能力

包含什么

用于智能体运行、模型请求、工具调用、评估和产品结果的命名事件表
稳定运行、操作、跟踪、帐户、提示版本、评估器版本和发布字段
DataFusion SQL 表示成功率、p95 持续时间、每个接受结果的成本、工具循环和质量回归
根据相同的已审核查询构建的仪表板和阈值警报
智能体框架、模型提供程序、OpenTelemetry 和 MCP 工具的集成指南

特定于智能体的设置路径

从工作流程中已有的编程智能体开始

智能体遥测skill.md 指南,然后将相同的已审查遥测边界带入重点 Claude Code、Cursor 或 Codex 实现路径中。

看分析

使用此功能的 SQL 查询示例

客户案例

团队如何使用此工作流程

相关能力

继续从事件到决策的工作流程

从一个生产工作流程开始

使用集中提示、发送综合事件并在扩大覆盖范围之前验证第一个有用的查询。