將詳細的執行與持久的產品成果聯絡起來
在專家追蹤路徑中保留步驟級追蹤，然後發出一個緊湊的終端事件，該事件可以將代理品質、成本、可靠性和產品行為結合起來。
- 1
代理執行
從批准的執行識別符號、工作流程、模型和提示版本開始。
- 2
工具和重試
保留追蹤和分類故障的詳細步驟，而無需複製有效負載。
- 3
最終結果
發出成功、失敗、取消或人工切換以及成本和持續時間。
- 4
SQL決策
按功能和版本比較可接受的結果、失敗和單位經濟效益。
開始之前
開始之前
- 在伺服器執行時初始化的 OpenAI Agents SDK 和 telemetry-sh 包
- 記錄的工作流程名稱和終端成功、失敗和切換結果
- 決定必須排除哪些提示、工具輸入和輸出內容
交貨設定
安裝並初始化伺服器端
在僅伺服器程式碼中匯入 telemetry-sh 並使用 process.env.TELEMETRY_API_KEY 對其進行一次初始化。 將攝取憑據保留在瀏覽器包、客戶端可見的環境變數、原始碼控制、日誌和異常訊息之外。
npm安裝
npm install telemetry-sh- 1準備一個具有有限網路行為的可重用伺服器端交付客戶端。
- 2在成功、失敗、重試或超時邊界處新增結果事件。
- 3在啟用警示之前傳送受控裝置並檢查儲存的行。
片段
從一個結構化事件開始
在工作流程完成、失敗或重試的位置新增此形狀。然後從真實的欄位建置儀表板。
OpenAI agent telemetry事件
await telemetry.log("agent_tool_called", {
run_id: runId,
workflow: "support_resolution",
agent_name: "support_agent",
model: "gpt-4.1",
tool_name: "lookup_order",
status: "success",
latency_ms: 842,
retry_count: 0,
estimated_cost_usd: 0.018,
prompt_version: "support-v3",
release: process.env.APP_RELEASE,
});事件結構
run_id、工作流程、agent_name、模型和 prompt_version
狀態、duration_ms、retry_count、total_tokens 和 estimated_cost_usd
tool_name、tool_status、human_handoff、reviewer_outcome 和釋放
檢查設定
檢查站 1
當整個執行結束時，發出一個緊湊的產品結果；保留 SDK 追蹤以進行步驟級除錯，而不是將每個跨度複製到第二個系統中。
檢查站 2
使用共享的 run_id 或批准的 trace_id 連線單獨的工具事件，而不儲存工具參數或結果。
檢查站 3
在依賴完成率儀表板之前，先練習工具故障、護欄拒絕、移交、取消和匯出器重新整理行為。
驗證
證明事件已到達
在演練已知的成功和失敗案例後執行此命令。如果您的最終事件契約與程式碼片段不同，請替換後備資料表名稱。
OpenAI agent telemetry 驗證查詢
SELECT *
FROM agent_tool_called
ORDER BY timestamp_utc DESC
LIMIT 20;實施參考
在啟用新的生產路徑之前，請檢查事件合約、資料安全指南和上游主要文件。
在哪裡記錄事件
保持結果事件小且可恢復
該模式提供了
- 除了上游工作流程之外，還有一個有界的、SQL 就緒的結果。
- 用於儀表板、警示和跨事件關聯的穩定欄位。
- 用於驗證成功、失敗、重試和超時行為的夾具驅動路徑。
該模式不提供
- OTLP 匯出器、自動收集管道或詳細追蹤和診斷日誌的替代品。
- 僅因為有效負載包含事件 ID，所以僅傳送一次。
- 收集原始提供商有效負載、使用者內容、憑證或受監管資料的權限。
事件結構描述範例
此工作流程的事件結構描述
在將查詢或程式碼片段適應生產之前，請檢查行粒度、發出邊界、所需型別、隱私類、範例有效負載和驗證清單。
相關產品功能
繼續此工作流程 AI代理監控
透過可審查的 SQL 連線代理執行、工具使用、模型成本、品質和產品結果。
相關 SQL 查詢範例
更多 SQL 範例
針對此工作流程中的結構化欄位執行查詢，檢查範例結果，並將有用的答案轉換為儀表板或警示。
審查AI代理工具授權決策
哪些代理工具最常被拒絕或轉而尋求人工批准？
開啟查詢範例按提示版本查詢 AI 品質回歸
新的提示版本是否在不增加人工交接的情況下提高了品質？
開啟查詢範例重建相關的工作流程時間線
在最近一次失敗的工作流程中，按順序發生了什麼？
開啟查詢範例查詢巢狀 AI 工具呼叫事件
哪些人工智慧工具和參數與失敗次數最多的呼叫相關？
開啟查詢範例檢測重複的 AI 代理工具迴圈
哪些代理執行似乎陷入了重複的工具迴圈？
開啟查詢範例按功能和模型計算 LLM 成本
哪些產品功能和型號正在推動法學碩士支出？
開啟查詢範例衡量 LLM 快取節省和重試成本
有多少模型成本與重試和快取未命中相關？
開啟查詢範例測量 LLM 獲得第一個權杖的時間
在輸出開始之前，哪些模型和功能組合感覺很慢？
開啟查詢範例衡量每美元所接受的人工智慧產出
哪種模型和功能組合可以產生最受接受的單位美元產出？
開啟查詢範例衡量人工智慧代理任務的成功和人工交接
哪些代理工作流程成功完成併產生可接受的結果？
開啟查詢範例按版本評估 RAG 檢索品質
新的 RAG 管道是否提高了檢索率和接地答案率？
開啟查詢範例按實施系列瀏覽
比較相關整合模式
與此整合配對的範本
更多整合