AI agent observability template：實施到決策
將提示視為實施概要。有用的工件不僅僅是複製的程式碼，而是經過審查的事件契約，可以產生值得信賴的答案。
- 1
設定邊界
Instrument the point where agent_run_started becomes final.
- 2
建立合約
Start with agent_run_started, agent_tool_called, agent_run_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
執行夾具
在依賴彙總結果之前，先練習已知的成功、失敗、重試和空結果案例。
- 4
回答問題
哪些工具最常失敗？
範本與用例
使用此範本加入事件
當測量目標已經明確時，複製此範本。使用匹配的用例指南來檢視事件邊界、成功定義以及生成的 SQL 應支援的決策。
範本
將其貼上到您的編碼代理中
更換 YOUR_API_KEY，在本地執行流程，然後驗證生成的事件和儀表板。
AI代理可觀測性範本
將 Telemetry 新增到此 AI 代理工作流程。
使用 /skill.md 和此 Telemetry API 金鑰：YOUR_API_KEY
日誌：
1. agent_run_started 與 agent_name、route、user_id、team_id、model、provider 和 input_category。
2. agent_tool_called 與 tool_name、status、latency_ms、retry_count 和 error_type。
3. agent_run_completed 以及 status、duration_ms、total_tokens、estimated_cost_usd、output_category 和 accepted（如果有）。
4. agent_run_failed 與 error_type、failed_step、retry_count 和 duration_ms。
針對執行量、按工具列出的故障率、p95 持續時間、按功能列出的模型成本以及可接受的輸出率建立 SQL 查詢。
除非明確批准，否則請勿記錄原始提示、完成、秘密、身分驗證標頭或個人資料。要捕獲的事件
驗證清單
完整的埋點通行證留下了什麼
活動
綜合事件以穩定的名稱和欄位型別到達預期的資料表。
查詢
第一個 SQL 查詢返回具有明確時間視窗的合理行。
意見
儀表板使用真實欄位幷包含足夠的上下文來解釋更改。
安全
檢查提示、正文、憑據、簽名和私人內容是否經過編輯。
事件結構描述範例
此工作流程的事件結構描述
在將查詢或程式碼片段適應生產之前，請檢查行粒度、發出邊界、所需型別、隱私類、範例有效負載和驗證清單。
相關產品功能
繼續此工作流程 AI代理監控
透過可審查的 SQL 連線代理執行、工具使用、模型成本、品質和產品結果。
相關 SQL 查詢範例
更多 SQL 範例
針對此工作流程中的結構化欄位執行查詢，檢查範例結果，並將有用的答案轉換為儀表板或警示。
重建相關的工作流程時間線
在最近一次失敗的工作流程中，按順序發生了什麼？
開啟查詢範例按提示版本查詢 AI 品質回歸
新的提示版本是否在不增加人工交接的情況下提高了品質？
開啟查詢範例查詢巢狀 AI 工具呼叫事件
哪些人工智慧工具和參數與失敗次數最多的呼叫相關？
開啟查詢範例檢測重複的 AI 代理工具迴圈
哪些代理執行似乎陷入了重複的工具迴圈？
開啟查詢範例按功能和模型計算 LLM 成本
哪些產品功能和型號正在推動法學碩士支出？
開啟查詢範例衡量每美元所接受的人工智慧產出
哪種模型和功能組合可以產生最受接受的單位美元產出？
開啟查詢範例按版本評估 RAG 檢索品質
新的 RAG 管道是否提高了檢索率和接地答案率？
開啟查詢範例更多範本