跳至主要內容
Telemetry
人工智慧和法學碩士 SQL查詢範例

衡量每美元所接受的人工智慧產出

將模型支出與已接受、已儲存或其他有用的產品結果聯絡起來。

中級llm_requests已審查 2026-07-27測試用 阿帕奇 DataFusion 45.2.0

審閱者 Telemetry產品團隊 . SQL 相容性、事件契約、合成輸出和操作注意事項. 審查標準和所有權

問題已回答

哪種模型和功能組合可以產生最受接受的單位美元產出?

當使用者丟棄其輸出時,最便宜的模型效率不高。此查詢將接受的輸出率與支出進行比較,以生成面向價值的單位指標。

活動合約

查詢期望的欄位

欄位型別為什麼存在
timestamp_utcTimestamp記錄工作流程結果的時間。
featureUtf8產品特性穩定。
modelUtf8提供者模型識別符號。
acceptedBoolean使用者是否接受或儲存結果。
estimated_cost_usdFloat64模型請求的成本。
DataFusion SQL

複製查詢

sql
SELECT
  feature,
  model,
  COUNT(*) AS completed_outputs,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
  100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  SUM(estimated_cost_usd) AS cost_usd,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;

此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。

查詢結果

每美元可接受的產出

最大的模型在接受率上獲勝,但在成本調整後的吞吐量上失敗。

featuremodelcompleted_outputsaccepted_outputsacceptance_rate_pctcost_usdaccepted_outputs_per_dollar
support_draftfast-small4,2003,108746349.33
document_summarybalanced-medium1,7001,3948278.217.83
research_reportreasoning-large51046490.982152.16

綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。

Accepted outputs per dollar:來自 Measure Accepted AI Outputs per Dollar 範例結果的合成 accepted_outputs_per_dollar 值的靜態圖表
確定性範例輸出的可索引 SVG。下載它以獲取帶有歸屬的文章、操作手冊或設計評論。

重現範例

下載公共裝置

JSON 包包含型別化事件契約, illustrative 輸入行、確切的 SQL、預期輸出、審閱註釋和引擎版本。 CSV 包含顯示的結果。

SQL 是如何工作的

  1. 1驗收率僅衡量已完成輸出的品質。每美元的可接受產出增加了經濟效益。
  2. 2最小樣本閾值可以避免從少數請求中宣佈獲勝者。
  3. 3驗收必須根據真實的產品行為(例如儲存、傳送、應用或複製)來定義,而不是假定的模型品質標籤。

需要決定的邊緣情況

  • 如果被丟棄的輸出通知了稍後的操作,那麼它可能仍然有用;選擇具有產品背景的結果訊號。
  • 比較同一功能內的模型,因為工作流程難度會改變接受度。
  • 在因微小差異而進行代價高昂的模型遷移之前,請使用置信區間。

推薦儀表板

  • 條形圖:accepted_outputs_per_dollar(按功能和型號)
  • 折線圖:acceptance_rate_pct 隨著時間的推移
  • 資料表:模型實驗的成本、延遲和結果

警示指導

模型、提示或工具更改後接受率急劇下降的警示;將成本效率作為儀表板而不是尋呼警示進行審查。

讀取警示設定

讓查詢範例發揮作用

相關埋點和指南

繼續分析

在真實事件中執行它

建立資料表,調整欄位並儲存結果

免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。

獲取 API 金鑰