跳转到内容
Telemetry
人工智能和法学硕士 SQL查询示例

按版本评估 RAG 检索质量

比较跨 RAG 管道版本的相关文档检索、接地答案、检索延迟和评估成本。

中级rag_evaluation_events已审核 2026-07-28测试用 阿帕奇 DataFusion 45.2.0

审阅者 Telemetry产品团队 . SQL 兼容性、事件契约、合成输出和操作注意事项. 审查标准和所有权

问题已回答

新的 RAG 管道是否提高了检索率和接地答案率?

RAG 质量不是一个分数。该查询将版本化测试集的检索相关性、答案基础、延迟和评估成本保持在一起,以便可以根据操作权衡来审查明显的质量增益。

活动合约

查询期望的字段

字段类型为什么存在
timestamp_utcTimestamp评估完成时间(UTC)。
pipeline_versionUtf8版本化检索器、索引和提示配置。
test_case_idUtf8稳定的评估案例标识符。
relevant_document_retrievedBoolean审查检索相关性结果。
answer_groundedBoolean审查了接地答案的结果。
retrieval_latency_msInt64检索阶段延迟(以毫秒为单位)。
cost_usdFloat64以美元为单位的版本估计评估成本。
environmentUtf8评估或生产环境。
DataFusion SQL

复制查询

sql
SELECT
  pipeline_version,
  COUNT(*) AS test_cases,
  100.0 * SUM(CASE WHEN relevant_document_retrieved THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS retrieval_relevance_pct,
  100.0 * SUM(CASE WHEN answer_grounded THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS grounded_answer_pct,
  AVG(retrieval_latency_ms) AS avg_retrieval_latency_ms,
  SUM(cost_usd) AS evaluation_cost_usd
FROM rag_evaluation_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
  AND environment = 'evaluation'
GROUP BY pipeline_version
ORDER BY grounded_answer_pct DESC, retrieval_relevance_pct DESC, pipeline_version;

此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。

查询结果

RAG 检索和接地结果

第二版提高了综合评估集中的审核率,但成本稍高。

pipeline_versiontest_casesretrieval_relevance_pctgrounded_answer_pctavg_retrieval_latency_msevaluation_cost_usd
rag-v247575950.05
rag-v1450501200.04

综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。

RAG retrieval and grounding outcomes:来自 Evaluate RAG Retrieval Quality by Version 示例结果的合成 retrieval_relevance_pct 值的静态图表
确定性示例输出的可索引 SVG。下载它以获取带有归属的文章、操作手册或设计评论。

重现示例

下载公共装置

JSON 包包含类型化事件契约, reproducible 输入行、确切的 SQL、预期输出、审阅注释和引擎版本。 CSV 包含显示的结果。

SQL 是如何工作的

  1. 1管道版本应标识用于测试的检索器、索引快照、重新排序器和答案提示。
  2. 2检索相关性和答案基础仍然是分开的,因为好的文档仍然可以产生不受支持的答案。
  3. 3延迟和成本使质量比较与生产限制相关联。

需要决定的边缘情况

  • 跨管道使用相同版本的测试用例并报告新添加或删除的用例。
  • 人类和基于模型的评分者需要记录的评分标准、校准和分歧审查。
  • 默认情况下,不要在一般遥测中存储私人源段落或原始答案。

推荐仪表板

  • 堆叠条:按版本划分的 retrieval_relevance_pct 和 grounded_answer_pct
  • 趋势:测试集变化时的评估结果
  • 表:延迟、成本、测试计数和评分器版本

警报指导

使用具有最小测试计数和审查回归容差的评估发布门,而不是生产分页警报。

读取警报设置

让查询示例发挥作用

相关埋点和指南

定义源数据

此分析的事件模式

继续分析

在真实事件中运行它

创建表,调整字段并保存结果

免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。

获取 API 密钥