活動合約
查詢期望的欄位
| 欄位 | 型別 | 為什麼存在 |
|---|---|---|
| timestamp_utc | Timestamp | 記錄工作流程結果的時間。 |
| feature | Utf8 | 產品特性穩定。 |
| model | Utf8 | 提供者模型識別符號。 |
| accepted | Boolean | 使用者是否接受或儲存結果。 |
| estimated_cost_usd | Float64 | 模型請求的成本。 |
DataFusion SQL
複製查詢
sql
SELECT
feature,
model,
COUNT(*) AS completed_outputs,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
SUM(estimated_cost_usd) AS cost_usd,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。
查詢結果
每美元可接受的產出
最大的模型在接受率上獲勝,但在成本調整後的吞吐量上失敗。
support_draft
49.33 / USD
document_summary
17.83 / USD
research_report
2.16 / USD
| feature | model | completed_outputs | accepted_outputs | acceptance_rate_pct | cost_usd | accepted_outputs_per_dollar |
|---|---|---|---|---|---|---|
| support_draft | fast-small | 4,200 | 3,108 | 74 | 63 | 49.33 |
| document_summary | balanced-medium | 1,700 | 1,394 | 82 | 78.2 | 17.83 |
| research_report | reasoning-large | 510 | 464 | 90.98 | 215 | 2.16 |
綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。
SQL 是如何工作的
- 1驗收率僅衡量已完成輸出的品質。每美元的可接受產出增加了經濟效益。
- 2最小樣本閾值可以避免從少數請求中宣佈獲勝者。
- 3驗收必須根據真實的產品行為(例如儲存、傳送、應用或複製)來定義,而不是假定的模型品質標籤。
需要決定的邊緣情況
- 如果被丟棄的輸出通知了稍後的操作,那麼它可能仍然有用;選擇具有產品背景的結果訊號。
- 比較同一功能內的模型,因為工作流程難度會改變接受度。
- 在因微小差異而進行代價高昂的模型遷移之前,請使用置信區間。
推薦儀表板
- 條形圖:accepted_outputs_per_dollar(按功能和型號)
- 折線圖:acceptance_rate_pct 隨著時間的推移
- 資料表:模型實驗的成本、延遲和結果
讓查詢範例發揮作用
相關埋點和指南
繼續分析
在真實事件中執行它
建立資料表,調整欄位並儲存結果
免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。