LLM cost tracker:實施到決策
將提示視為實施概要。有用的工件不僅僅是複製的程式碼,而是經過審查的事件契約,可以產生值得信賴的答案。
- 1
設定邊界
Instrument the point where llm_request_completed becomes final.
- 2
建立合約
Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
執行夾具
在依賴彙總結果之前,先練習已知的成功、失敗、重試和空結果案例。
- 4
回答問題
每個保留帳戶哪些功能的成本最高?
範本與用例
使用此範本加入事件
當測量目標已經明確時,複製此範本。使用匹配的用例指南來檢視事件邊界、成功定義以及生成的 SQL 應支援的決策。
範本
將其貼上到您的編碼代理中
更換 YOUR_API_KEY,在本地執行流程,然後驗證生成的事件和儀表板。
法學碩士成本追蹤
使用 Telemetry 儀器法學碩士的使用和成本。
使用 /skill.md 和此 Telemetry API 金鑰:YOUR_API_KEY
使用以下命令記錄每個模型請求:
provider、model、route、feature、user_id、team_id、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status、 retry_count 和 error_type。
連線結果事件,例如 copied、saved、accepted、retried、regenerated 或 discarded。
建立每日支出、按功能列出的成本、按帳戶列出的成本、按模型列出的故障、p95 延遲和接受輸出率的儀表板。
預設情況下不儲存原始提示或完成。要捕獲的事件
驗證清單
完整的埋點通行證留下了什麼
活動
綜合事件以穩定的名稱和欄位型別到達預期的資料表。
查詢
第一個 SQL 查詢返回具有明確時間視窗的合理行。
意見
儀表板使用真實欄位幷包含足夠的上下文來解釋更改。
安全
檢查提示、正文、憑據、簽名和私人內容是否經過編輯。
事件結構描述範例
此工作流程的事件結構描述
在將查詢或程式碼片段適應生產之前,請檢查行粒度、發出邊界、所需型別、隱私類、範例有效負載和驗證清單。
相關產品功能
繼續此工作流程 AI代理監控
透過可審查的 SQL 連線代理執行、工具使用、模型成本、品質和產品結果。
相關 SQL 查詢範例
更多 SQL 範例
針對此工作流程中的結構化欄位執行查詢,檢查範例結果,並將有用的答案轉換為儀表板或警示。
按功能和模型計算 LLM 成本
哪些產品功能和型號正在推動法學碩士支出?
開啟查詢範例衡量每美元所接受的人工智慧產出
哪種模型和功能組合可以產生最受接受的單位美元產出?
開啟查詢範例衡量 LLM 快取節省和重試成本
有多少模型成本與重試和快取未命中相關?
開啟查詢範例測量 LLM 獲得第一個權杖的時間
在輸出開始之前,哪些模型和功能組合感覺很慢?
開啟查詢範例更多範本