活動合約
查詢期望的欄位
| 欄位 | 型別 | 為什麼存在 |
|---|---|---|
| timestamp_utc | Timestamp | 評估完成時間(UTC)。 |
| workflow_name | Utf8 | 有界 AI 工作流程名稱。 |
| prompt_version | Utf8 | 已審查提示或政策版本。 |
| model_name | Utf8 | 有界模型名稱。 |
| quality_score | Float64 | 來自有記錄的評估員的標準化分數。 |
| quality_passed | Boolean | 執行是否透過了審查的品質閾值。 |
| accepted_without_edit | Boolean | 使用者是否接受輸出而不進行編輯。 |
| human_handoff | Boolean | 工作流程是否升級到人員。 |
| cost_usd | Float64 | 執行的標準化模型成本。 |
| environment | Utf8 | 部署環境。 |
DataFusion SQL
複製查詢
sql
SELECT
workflow_name,
prompt_version,
COUNT(*) AS evaluated_runs,
100.0 * SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS quality_pass_rate_pct,
100.0 * SUM(CASE WHEN accepted_without_edit THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS handoff_rate_pct,
AVG(quality_score) AS average_quality_score,
SUM(cost_usd) / NULLIF(
SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END),
0
) AS cost_per_quality_pass_usd
FROM ai_quality_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
AND environment = 'production'
GROUP BY workflow_name, prompt_version
ORDER BY workflow_name, prompt_version;此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。
查詢結果
AI品質提示版本
版本 4 具有更高的品質透過率和接受率,並且沒有觀察到的交接。
support-v3
60%
comparison 40%
support-v4
80%
comparison 0%
| workflow_name | prompt_version | evaluated_runs | quality_pass_rate_pct | acceptance_rate_pct | handoff_rate_pct | average_quality_score | cost_per_quality_pass_usd |
|---|---|---|---|---|---|---|---|
| support_reply | support-v3 | 5 | 60 | 60 | 40 | 0.69 | 0.03 |
| support_reply | support-v4 | 5 | 80 | 80 | 0 | 0.83 | 0.03 |
綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。
SQL 是如何工作的
- 1提示版本是一個顯式事件欄位,使推出比較可重現。
- 2品質合格率、產品驗收和交接率顯示了有用性的不同方面。
- 3成本除以成功的品質結果,而不是原始執行,這可以防止廉價的失敗看起來高效。
需要決定的邊緣情況
- 在比較的版本中保持評估器定義和閾值穩定。
- 將離線評估者分數與真實使用者接受度分開,而不是將兩者視為基本事實。
- 當提示版本收到的流量存在重大差異時,按任務難度或客戶群體進行細分。
推薦儀表板
- 棒材:品質和驗收率 prompt_version
- 趨勢:帶有推出註釋的切換率
- 資料表:評估的執行次數和每次品質透過的成本
讓查詢範例發揮作用
相關埋點和指南
繼續分析
在真實事件中執行它
建立資料表,調整欄位並儲存結果
免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。