將代幣使用轉化為可審查的單位經濟效益
當版本化估計與重試和應用程式實際評估的下游結果相結合時，提供程式的使用變得更加有用。
- 1
型號要求
捕獲提供者、模型、功能、權杖、延遲、快取和重試上下文。
- 2
成本估算
應用註明日期的價格來源並在估算旁邊保留其版本。
- 3
產品成果
將請求連線到已接受、已解決、已儲存、已升級或已放棄的工作。
- 4
單位經濟效益
比較每個審查結果的成本，而不是單獨比較權杖或請求量。
用例與範本
選擇要衡量的內容
使用用例指南來選擇結果、事件邊界和分析問題。當您準備好接受較短的複製貼上實施簡介時，請開啟匹配的範本。
代理提示
將其貼上到您的編碼代理中
更換 YOUR_API_KEY 註冊後，然後要求代理執行產品流程並驗證第一個事件。
OpenAI cost monitoring 設定提示
使用 Telemetry 檢測該專案，以便我們可以瞭解 OpenAI 和 LLM 的用法。
使用 /skill.md 和此 Telemetry API 金鑰：YOUR_API_KEY
請登入：
1. 每個型號請求均帶有 model、provider、route、feature、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status 和 error_type（如果相關）。
2、座席或助理進行工具呼叫，包括tool_name、status、latency_ms、result_category。
3. 面向使用者的AI工作流程結果，包括feature、status、retry_count，以及使用者是否是accepted、copied、saved或discarded結果。
4. 儀表板，其中包含每日成本、按功能劃分的成本、按模型劃分的故障、p95 延遲和可接受的輸出率。
除非我明確批准儲存提示和原始完成，否則不要將提示和原始完成情況保留在遙測中。設定步驟
- 1預設情況下，記錄每個模型請求而不儲存原始提示。
- 2記錄權杖、估計成本、延遲、提供商、模型和工作流程。
- 3連線產品結果事件，例如儲存、複製、接受或重試。
- 4建立利潤、可靠性和使用者價值的儀表板。
要捕獲的事件
由此解鎖的問題
- 哪些人工智慧功能的每位啟用使用者成本最高？
- 哪種模型的單位美元產出率最受接受？
- 重試或超時在哪些方面會損害轉換？
LLM成本和單位經濟學
標準化提供商的使用，然後衡量每個有用結果的成本
當權杖支出與功能、帳戶、重試路徑保持連線並檢視建立它的使用者結果時，權杖支出就變得可操作。使用計算器測試假設，然後針對多資料表 SQL 實驗室執行相同的分析。
估計每月費用
輸入的價格只是範例，並非當前的提供商價格。將它們替換為提供商協議中的費率和計費權杖類別。
提供者嘗試
105,000
預計每月費用
US$304.50
估計重試成本
US$14.50
接受的輸出
60,000
每個接受輸出的成本
US$0.0051
此僅限瀏覽器的估算不會傳送到 Telemetry，也不是提供商發票。
提供商中立的事件合約
保留您需要的提供商回應欄位，但規範化分析表面，以便模型和定價更改不需要新的儀表板。
| 標準化欄位 | 為什麼他們屬於在一起 |
|---|---|
| provider, model, feature | 將使用情況歸因於提供商和產品工作流程。 |
| input_tokens, output_tokens | 保留提供商報告的使用元件。 |
| cached_input_tokens, reasoning_tokens | 如果可用，請將可選的計費類別分開。 |
| estimated_cost_usd, pricing_version | 使分析估計在價格變化後可重複。 |
| retry_count, cache_hit, latency_ms | 解釋執行路徑內的成本和可靠性變化。 |
| accepted, saved, discarded, human_handoff | 將提供商的消費與經過審查的產品結果聯絡起來。 |
執行連線分析
使用共享帳戶和 llm_requests 資料表來計算按計劃接受的每個輸出的成本。
開放 SQL 實驗室按功能細分成本
檢查完整的事件架構、DataFusion 查詢、結果、圖表和儀表板建議。
開放成本查詢範例測量重試和快取成本
將可避免的提供者嘗試和快取節省與有意的使用者需求分開。
開啟重試查詢範例事件結構描述範例
此工作流程的事件結構描述
在將查詢或程式碼片段適應生產之前，請檢查行粒度、發出邊界、所需型別、隱私類、範例有效負載和驗證清單。
相關產品功能
繼續此工作流程 AI代理監控
透過可審查的 SQL 連線代理執行、工具使用、模型成本、品質和產品結果。
相關 SQL 查詢範例
更多 SQL 範例
針對此工作流程中的結構化欄位執行查詢，檢查範例結果，並將有用的答案轉換為儀表板或警示。
相關頁面