跳至主要內容
Telemetry
人工智慧和法學碩士 SQL查詢範例

按提示版本查詢 AI 品質回歸

按提示版本比較評估的品質、驗收、移交和成本。

中級ai_quality_events已審查 2026-07-28測試用 阿帕奇 DataFusion 45.2.0

審閱者 Telemetry產品團隊 . SQL 相容性、事件契約、合成輸出和操作注意事項. 審查標準和所有權

問題已回答

新的提示版本是否在不增加人工交接的情況下提高了品質?

延遲和權杖成本無法判斷人工智慧工作流程是否有用。此模式將有界提示版本與經過審查的品質結果結合在一起,以便可以根據其前身來評估部署。

活動合約

查詢期望的欄位

欄位型別為什麼存在
timestamp_utcTimestamp評估完成時間(UTC)。
workflow_nameUtf8有界 AI 工作流程名稱。
prompt_versionUtf8已審查提示或政策版本。
model_nameUtf8有界模型名稱。
quality_scoreFloat64來自有記錄的評估員的標準化分數。
quality_passedBoolean執行是否透過了審查的品質閾值。
accepted_without_editBoolean使用者是否接受輸出而不進行編輯。
human_handoffBoolean工作流程是否升級到人員。
cost_usdFloat64執行的標準化模型成本。
environmentUtf8部署環境。
DataFusion SQL

複製查詢

sql
SELECT
  workflow_name,
  prompt_version,
  COUNT(*) AS evaluated_runs,
  100.0 * SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS quality_pass_rate_pct,
  100.0 * SUM(CASE WHEN accepted_without_edit THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS handoff_rate_pct,
  AVG(quality_score) AS average_quality_score,
  SUM(cost_usd) / NULLIF(
    SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END),
    0
  ) AS cost_per_quality_pass_usd
FROM ai_quality_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
  AND environment = 'production'
GROUP BY workflow_name, prompt_version
ORDER BY workflow_name, prompt_version;

此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。

查詢結果

AI品質提示版本

版本 4 具有更高的品質透過率和接受率,並且沒有觀察到的交接。

workflow_nameprompt_versionevaluated_runsquality_pass_rate_pctacceptance_rate_pcthandoff_rate_pctaverage_quality_scorecost_per_quality_pass_usd
support_replysupport-v356060400.690.03
support_replysupport-v45808000.830.03

綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。

AI quality by prompt version:來自 Find AI Quality Regressions by Prompt Version 範例結果的合成 quality_pass_rate_pct 值的靜態圖表
確定性範例輸出的可索引 SVG。下載它以獲取帶有歸屬的文章、操作手冊或設計評論。

重現範例

下載公共裝置

JSON 包包含型別化事件契約, reproducible 輸入行、確切的 SQL、預期輸出、審閱註釋和引擎版本。 CSV 包含顯示的結果。

SQL 是如何工作的

  1. 1提示版本是一個顯式事件欄位,使推出比較可重現。
  2. 2品質合格率、產品驗收和交接率顯示了有用性的不同方面。
  3. 3成本除以成功的品質結果,而不是原始執行,這可以防止廉價的失敗看起來高效。

需要決定的邊緣情況

  • 在比較的版本中保持評估器定義和閾值穩定。
  • 將離線評估者分數與真實使用者接受度分開,而不是將兩者視為基本事實。
  • 當提示版本收到的流量存在重大差異時,按任務難度或客戶群體進行細分。

推薦儀表板

  • 棒材:品質和驗收率 prompt_version
  • 趨勢:帶有推出註釋的切換率
  • 資料表:評估的執行次數和每次品質透過的成本

警示指導

僅在新版本達到審查的評估量後才發出持續品質或驗收回歸的警示。

讀取警示設定

讓查詢範例發揮作用

相關埋點和指南

繼續分析

在真實事件中執行它

建立資料表,調整欄位並儲存結果

免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。

獲取 API 金鑰