跳至主要內容
Telemetry
人工智慧和法學碩士 SQL查詢範例

按版本評估 RAG 檢索品質

比較跨 RAG 管道版本的相關文件檢索、接地答案、檢索延遲和評估成本。

中級rag_evaluation_events已審查 2026-07-28測試用 阿帕奇 DataFusion 45.2.0

審閱者 Telemetry產品團隊 . SQL 相容性、事件契約、合成輸出和操作注意事項. 審查標準和所有權

問題已回答

新的 RAG 管道是否提高了檢索率和接地答案率?

RAG 品質不是一個分數。該查詢將版本化測試集的檢索相關性、答案基礎、延遲和評估成本保持在一起,以便可以根據操作權衡來審查明顯的品質增益。

活動合約

查詢期望的欄位

欄位型別為什麼存在
timestamp_utcTimestamp評估完成時間(UTC)。
pipeline_versionUtf8版本化檢索器、索引和提示設定。
test_case_idUtf8穩定的評估案例識別符號。
relevant_document_retrievedBoolean審查檢索相關性結果。
answer_groundedBoolean審查了接地答案的結果。
retrieval_latency_msInt64檢索階段延遲(以毫秒為單位)。
cost_usdFloat64以美元為單位的版本估計評估成本。
environmentUtf8評估或生產環境。
DataFusion SQL

複製查詢

sql
SELECT
  pipeline_version,
  COUNT(*) AS test_cases,
  100.0 * SUM(CASE WHEN relevant_document_retrieved THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS retrieval_relevance_pct,
  100.0 * SUM(CASE WHEN answer_grounded THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS grounded_answer_pct,
  AVG(retrieval_latency_ms) AS avg_retrieval_latency_ms,
  SUM(cost_usd) AS evaluation_cost_usd
FROM rag_evaluation_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
  AND environment = 'evaluation'
GROUP BY pipeline_version
ORDER BY grounded_answer_pct DESC, retrieval_relevance_pct DESC, pipeline_version;

此只讀查詢是針對空型別資料表計劃和執行的 阿帕奇 DataFusion 45.2.0。確定性樣本輸出是綜合的並單獨審查;根據您自己的資料驗證欄位型別、閾值和業務定義。 閱讀測試方法。

查詢結果

RAG 檢索和接地結果

第二版提高了綜合評估集中的審查率,但成本稍高。

pipeline_versiontest_casesretrieval_relevance_pctgrounded_answer_pctavg_retrieval_latency_msevaluation_cost_usd
rag-v247575950.05
rag-v1450501200.04

綜合範例輸出。在將其用於操作決策之前,針對您自己的事件架構和閾值執行查詢。

RAG retrieval and grounding outcomes:來自 Evaluate RAG Retrieval Quality by Version 範例結果的合成 retrieval_relevance_pct 值的靜態圖表
確定性範例輸出的可索引 SVG。下載它以獲取帶有歸屬的文章、操作手冊或設計評論。

重現範例

下載公共裝置

JSON 包包含型別化事件契約, reproducible 輸入行、確切的 SQL、預期輸出、審閱註釋和引擎版本。 CSV 包含顯示的結果。

SQL 是如何工作的

  1. 1管道版本應標識用於測試的檢索器、索引快照、重新排序器和答案提示。
  2. 2檢索相關性和答案基礎仍然是分開的,因為好的文件仍然可以產生不受支援的答案。
  3. 3延遲和成本使品質比較與生產限制相關聯。

需要決定的邊緣情況

  • 跨管道使用相同版本的測試用例並報告新新增或刪除的用例。
  • 人類和基於模型的評分者需要記錄的評分標準、校準和分歧審查。
  • 預設情況下,不要在一般遙測中儲存私人源段落或原始答案。

推薦儀表板

  • 堆疊條:按版本劃分的 retrieval_relevance_pct 和 grounded_answer_pct
  • 趨勢:測試集變化時的評估結果
  • 資料表:延遲、成本、測試計數和評分器版本

警示指導

使用具有最小測試計數和審查迴歸容差的評估發布門,而不是生產分頁警示。

讀取警示設定

讓查詢範例發揮作用

相關埋點和指南

定義源資料

此分析的事件模式

繼續分析

在真實事件中執行它

建立資料表,調整欄位並儲存結果

免費開始,傳送結構化事件,並將查詢結果用作圖表、共享儀表板小工具或警示輸入。

獲取 API 金鑰