活動合約
查詢期望的欄位
| 欄位 | 型別 | 為什麼存在 |
|---|---|---|
| timestamp_utc | Timestamp | 終端代理執行時間(UTC)。 |
| workflow | Utf8 | 穩定的產品工作流程或任務類別。 |
| model | Utf8 | 從提供商回應中記錄的模型識別符號。 |
| status | Utf8 | 技術執行成功或失敗。 |
| reviewer_outcome | Utf8 | 接受、修改、拒絕或 not_reviewed。 |
| human_handoff | Boolean | 是否由人類接管該任務。 |
| duration_ms | Float64 | 端到端工作流程持續時間。 |
| estimated_cost_usd | Float64 | 執行的標準化估計模型成本。 |
DataFusion SQL
複製查詢
sql
SELECT
workflow,
model,
COUNT(*) AS runs,
100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
/ NULLIF(SUM(CASE
WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
END), 0) AS reviewed_acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
AVG(duration_ms) AS average_duration_ms,
SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。
查詢結果
按工作流程審查代理接受情況
退款審查在技術上完成,但比其他工作流程需要更多的修改或人工接管。
support_triage
86.4%
comparison 18.2%
refund_review
68.7%
comparison 42.9%
knowledge_draft
91.6%
comparison 8.4%
| workflow | model | runs | technical_success_rate_pct | reviewed_acceptance_rate_pct | human_handoff_rate_pct | average_duration_ms | cost_per_run_usd |
|---|---|---|---|---|---|---|---|
| support_triage | configured-model-a | 1,840 | 98.1 | 86.4 | 18.2 | 4,820 | 0.04 |
| refund_review | configured-model-b | 620 | 96.8 | 68.7 | 42.9 | 8,110 | 0.07 |
| knowledge_draft | configured-model-a | 940 | 99.2 | 91.6 | 8.4 | 3,910 | 0.04 |
綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。
SQL 是如何工作的
- 1技術成功和審查驗收仍然是分開的,因此完整的 API 呼叫不能代表產品品質。
- 2接受分母排除未經審查的執行,而不是默默地將丟失的標籤視為拒絕。
- 3交接、持續時間和成本暴露了表面上高完成率背後的運營權衡。
需要決定的邊緣情況
- 在比較團隊或模型版本之前,審閱者的結果需要穩定的評分標準和評估者之間的檢查。
- 自動解決的簡單任務可能會導致接受度上升;當任務難度發生變化時,按其難度進行細分。
- 除非得到明確批准,否則請將原始提示、完成情況和敏感工具結果排除在活動之外。
推薦儀表板
- 酒吧:按工作流程審查驗收和人工交接
- 趨勢:模型或即時發布後接受
- 資料表:按受控評審結果分組的執行
讓查詢範例發揮作用
相關埋點和指南
定義源資料
此分析的事件模式
繼續分析
在真實事件中執行它
建立資料表,調整欄位並儲存結果
免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。