让编程智能体根据数据做出决策。
Telemetry 为编程智能体提供反馈闭环:记录智能体运行数据,查询实际结果,再通过可审查的 SQL 决定下一步改进。
真实结果 · 可检查的 SQL · 可供人工审查的决策
使用 telemetry.sh 添加埋点、部署代码、发现机会、修复问题,再验证变更是否有效。
Telemetry 为编程智能体提供反馈闭环:记录智能体运行数据,查询实际结果,再通过可审查的 SQL 决定下一步改进。
真实结果 · 可检查的 SQL · 可供人工审查的决策
使用 telemetry.sh 添加埋点、部署代码、发现机会、修复问题,再验证变更是否有效。
决策闭环
智能体先添加埋点,再进行优化。随后部署代码、查询结果、发现改进机会、修复问题、重新部署,并确认实际效果得到改善。
为智能体设定目标和限制:提高结账完成率,同时不增加延迟或错误。
在改变应用行为之前,先记录结果、测试事件传输,并部署事件契约。
查询结果、发现改进机会、发布修复,并确认重新部署后效果有所提升。
更好的决策
如果接受率下降,运行更快并不意味着更好。如果转交人工的次数增加,模型更便宜也不一定更优。Telemetry 让智能体同时考量实际结果及其成本。
使用 SQL 跟踪 OpenAI 成本比较发布版本、提示词版本、模型、路由和工作流,了解它们对用户实际结果的影响。
在同一条查询中评估质量、成功率、延迟和成本,避免优化掩盖其负面影响。
负责决策的人始终可以查看事件契约、SQL、结果及其限制。
值得衡量的决策
从猜测代价最高的环节入手,让每个工作流都形成可重复验证的数据反馈闭环。
人工参与决策
“Telemetry 让我可以非常轻松地跟踪、分析和可视化业务中发生的情况。”

“从转储数据到真正理解数据的最简单方法之一。”

“它很简单,SQL 工作台速度很快,而且我不必预先担心架构。”

为闭环提供知识