讓您的程式設計代理運用資料做決策。
Telemetry 為程式設計代理提供回饋迴路:擷取代理遙測資料、查詢實際結果,再透過可檢視的 SQL 決定下一步要改善什麼。
真實結果 · 可檢查的 SQL · 可供人工審查的決策
使用 telemetry.sh 新增埋點、部署程式碼、發現機會、修復問題,再驗證變更是否有效。
Telemetry 為程式設計代理提供回饋迴路:擷取代理遙測資料、查詢實際結果,再透過可檢視的 SQL 決定下一步要改善什麼。
真實結果 · 可檢查的 SQL · 可供人工審查的決策
使用 telemetry.sh 新增埋點、部署程式碼、發現機會、修復問題,再驗證變更是否有效。
決策迴路
代理會先加入遙測再進行最佳化,接著部署、查詢結果、找出改善機會、修正並重新部署,最後確認結果確實改善。
為代理設定目標和限制:提高結帳完成率,同時不增加延遲或錯誤。
在改變應用行為之前,先記錄結果、測試事件傳輸,並部署事件契約。
查詢結果、發現改進機會、發布修復,並確認重新部署後效果有所提升。
更好的決策
如果接受率下降,執行更快並不意味著更好。如果轉交人工的次數增加,模型更便宜也不一定更優。Telemetry 讓代理同時考量實際結果及其成本。
使用 SQL 追蹤 OpenAI 成本比較發布版本、提示詞版本、模型、路由和工作流程,瞭解它們對使用者實際結果的影響。
在同一條查詢中評估品質、成功率、延遲和成本,避免最佳化掩蓋其負面影響。
負責決策的人始終可以檢視事件契約、SQL、結果及其限制。
值得衡量的決策
從猜測代價最高的環節入手,讓每個工作流程都形成可重複驗證的資料回饋閉環。
人工參與決策
“Telemetry 讓我可以非常輕鬆地追蹤、分析和視覺化業務中發生的情況。”

“從轉儲資料到真正理解資料的最簡單方法之一。”

“它很簡單,SQL 工作臺速度很快,而且我不必預先擔心架構。”
