跳至主要內容
Telemetry
程式設計代理的資料回饋迴路

讓您的程式設計代理運用資料做決策。

Telemetry 為程式設計代理提供回饋迴路:擷取代理遙測資料、查詢實際結果,再透過可檢視的 SQL 決定下一步要改善什麼。

真實結果 · 可檢查的 SQL · 可供人工審查的決策

提示詞
加入遙測
部署
查詢
改善
驗證

決策迴路

從提示詞到經過驗證的改善成果。

代理會先加入遙測再進行最佳化,接著部署、查詢結果、找出改善機會、修正並重新部署,最後確認結果確實改善。

01

明確改進目標

為代理設定目標和限制:提高結帳完成率,同時不增加延遲或錯誤。

02

先部署資料採集

在改變應用行為之前,先記錄結果、測試事件傳輸,並部署事件契約。

03

改進後驗證結果

查詢結果、發現改進機會、發布修復,並確認重新部署後效果有所提升。

決策依據

不僅瞭解發生了什麼,還要查明有哪些變化。

在這個閉環中,代理比較不同結帳版本,找到慢速路徑、發布修復,再確認完成率提升且 p95 延遲下降。同樣的方法也適用於成長、可靠性、AI 品質和成本分析。

直播
代理提出的問題
v43 是否提高了結帳完成率,同時未增加 p95 延遲?
分析依據
完成率
68.4%
p95
1.1s
放棄率
8.7%
各版本結帳完成率
v43:+9.2%

更好的決策

讓代理綜合評估收益與代價。

如果接受率下降,執行更快並不意味著更好。如果轉交人工的次數增加,模型更便宜也不一定更優。Telemetry 讓代理同時考量實際結果及其成本。

使用 SQL 追蹤 OpenAI 成本

將變更與結果關聯

比較發布版本、提示詞版本、模型、路由和工作流程,瞭解它們對使用者實際結果的影響。

明確取捨

在同一條查詢中評估品質、成功率、延遲和成本,避免最佳化掩蓋其負面影響。

讓推理過程可審查

負責決策的人始終可以檢視事件契約、SQL、結果及其限制。

可信的資料輸入

好的決策從邊界明確的事件開始。

為代理提供穩定的結果、版本、耗時和工作流程欄位,以便比較變更前後的差異。避免記錄金鑰和原始載荷,確保分析依據安全且易於理解。

最終結果穩定的分析維度不記錄原始提示詞
checkout.ts · 完成邊界
正在接收事件
telemetry.log("checkout_attempt_completed", {
  attempt_id,
  status: "completed",
  duration_ms,
  step,
  release,
});
JSON事件
自動模式
SQL審查

人工參與決策

與團隊共享決策依據。

Telemetry 讓我可以非常輕鬆地追蹤、分析和視覺化業務中發生的情況。
Namu Kang
Namu Kang
創辦人, Browserflow
從轉儲資料到真正理解資料的最簡單方法之一。
Shayan Taslim
Shayan Taslim
創辦人, LogSnag
它很簡單,SQL 工作臺速度很快,而且我不必預先擔心架構。
Prem Viswanathan
Prem Viswanathan
創辦人, SwiftCX

為代理建立回饋閉環。

先檢視範例結果並審查查詢,再在分析能夠支援決策時連接真實流量。