跳转到内容
Telemetry
编程智能体的数据反馈闭环

让编程智能体根据数据做出决策。

Telemetry 为编程智能体提供反馈闭环:记录智能体运行数据,查询实际结果,再通过可审查的 SQL 决定下一步改进。

真实结果 · 可检查的 SQL · 可供人工审查的决策

提示词
添加埋点
部署
查询
改进
验证

决策闭环

从提示词到经过验证的改进。

智能体先添加埋点,再进行优化。随后部署代码、查询结果、发现改进机会、修复问题、重新部署,并确认实际效果得到改善。

01

明确改进目标

为智能体设定目标和限制:提高结账完成率,同时不增加延迟或错误。

02

先部署数据采集

在改变应用行为之前,先记录结果、测试事件传输,并部署事件契约。

03

改进后验证结果

查询结果、发现改进机会、发布修复,并确认重新部署后效果有所提升。

决策依据

不仅了解发生了什么,还要查明有哪些变化。

在这个闭环中,智能体比较不同结账版本,找到慢速路径、发布修复,再确认完成率提升且 p95 延迟下降。同样的方法也适用于增长、可靠性、AI 质量和成本分析。

直播
智能体的问题
v43 是否提高了结账完成率,同时未增加 p95 延迟?
分析依据
完成率
68.4%
p95
1.1s
放弃率
8.7%
各版本结账完成率
v43:+9.2%

更好的决策

让智能体综合评估收益与代价。

如果接受率下降,运行更快并不意味着更好。如果转交人工的次数增加,模型更便宜也不一定更优。Telemetry 让智能体同时考量实际结果及其成本。

使用 SQL 跟踪 OpenAI 成本

将变更与结果关联

比较发布版本、提示词版本、模型、路由和工作流,了解它们对用户实际结果的影响。

明确取舍

在同一条查询中评估质量、成功率、延迟和成本,避免优化掩盖其负面影响。

让推理过程可审查

负责决策的人始终可以查看事件契约、SQL、结果及其限制。

可信的数据输入

好的决策从边界明确的事件开始。

为智能体提供稳定的结果、版本、耗时和工作流字段,以便比较变更前后的差异。避免记录密钥和原始载荷,确保分析依据安全且易于理解。

最终结果稳定的分析维度不记录原始提示词
checkout.ts · 完成边界
正在接收事件
telemetry.log("checkout_attempt_completed", {
  attempt_id,
  status: "completed",
  duration_ms,
  step,
  release,
});
JSON事件
自动模式
SQL审查

人工参与决策

与团队共享决策依据。

Telemetry 让我可以非常轻松地跟踪、分析和可视化业务中发生的情况。
Namu Kang
Namu Kang
创始人, Browserflow
从转储数据到真正理解数据的最简单方法之一。
Shayan Taslim
Shayan Taslim
创始人, LogSnag
它很简单,SQL 工作台速度很快,而且我不必预先担心架构。
Prem Viswanathan
Prem Viswanathan
创始人, SwiftCX

为智能体建立反馈闭环。

先查看示例结果并审查查询,再在分析能够支持决策时接入真实流量。