跳至主要內容
Telemetry
儀表板範例

LLM 的使用和單位經濟性 儀表板

將模型呼叫連線到產品工作流程和帳戶,以便可以一起審查代幣數量、延遲、故障和成本。

審閱者 Telemetry產品團隊 . 決策、事件粒度、指標、DataFusion SQL、綜合結果、假設、新鮮度和解釋邊界. 審查標準和所有權

行紋

按模型分組之前的一個終端模型提供商請求。

支援決策

選擇用於保質模型、快取、重試或即時效率審查的工作流程。

公制合約

將分母和單位放在圖表旁邊

使這些名稱適應您的合約,同時保留宣告的穀物。在對映來自生產生產者的欄位之前檢查連結的事件模式。

  • 要求
  • 輸入和輸出權杖
  • 預計費用
  • 每個成功請求的費用
檢查事件架構
完整的DataFusion SQL

在調整欄位之前檢查查詢

此公共查詢是一個起始定義。新增適合您的生產事件合約的有限時間過濾器、完整桶策略、環境和最小數量。

SELECT
  model,
  COUNT(*) AS requests,
  SUM(input_tokens) AS input_tokens,
  SUM(output_tokens) AS output_tokens,
  ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
  ROUND(
    SUM(cost_usd)
    / NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
    4
  ) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;
資料假設

在發布結果之前證明這些

  • 權杖的使用和狀態在提供者回應邊界處是最終的。
  • 事件級成本使用版本化的價格分配。
  • 提供商發票仍然是真實的財務來源。
查詢審查

確保儀表板值得信賴的檢查

  • 分配共享模型支出時新增工作流程和帳戶欄位。
  • 將同一完整期間的彙總估算與發票進行核對。
  • 將成本與品質和成功進行比較;僅僅降低成本並不能帶來結果。

解釋邊界

這個結果本身不能證明什麼

使用提供商發票作為真實的財務來源。事件級成本是分配估算,除非與計費進行核對。

相關儀表板範例

用已知資料驗證定義

在將查詢連線到生產儀表板或警示之前,執行具有已知成功、失敗、缺失、重複和邊界情況的固定裝置。