跳转到内容
Telemetry
人工智能和法学硕士 SQL查询示例

按提示版本查找 AI 质量回归

按提示版本比较评估的质量、验收、移交和成本。

中级ai_quality_events已审核 2026-07-28测试用 阿帕奇 DataFusion 45.2.0

审阅者 Telemetry产品团队 . SQL 兼容性、事件契约、合成输出和操作注意事项. 审查标准和所有权

问题已回答

新的提示版本是否在不增加人工交接的情况下提高了质量?

延迟和令牌成本无法判断人工智能工作流程是否有用。此模式将有界提示版本与经过审查的质量结果结合在一起,以便可以根据其前身来评估部署。

活动合约

查询期望的字段

字段类型为什么存在
timestamp_utcTimestamp评估完成时间(UTC)。
workflow_nameUtf8有界 AI 工作流程名称。
prompt_versionUtf8已审核提示或政策版本。
model_nameUtf8有界模型名称。
quality_scoreFloat64来自有记录的评估员的标准化分数。
quality_passedBoolean运行是否通过了审核的质量阈值。
accepted_without_editBoolean用户是否接受输出而不进行编辑。
human_handoffBoolean工作流程是否升级到人员。
cost_usdFloat64运行的标准化模型成本。
environmentUtf8部署环境。
DataFusion SQL

复制查询

sql
SELECT
  workflow_name,
  prompt_version,
  COUNT(*) AS evaluated_runs,
  100.0 * SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS quality_pass_rate_pct,
  100.0 * SUM(CASE WHEN accepted_without_edit THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS handoff_rate_pct,
  AVG(quality_score) AS average_quality_score,
  SUM(cost_usd) / NULLIF(
    SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END),
    0
  ) AS cost_per_quality_pass_usd
FROM ai_quality_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
  AND environment = 'production'
GROUP BY workflow_name, prompt_version
ORDER BY workflow_name, prompt_version;

此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。

查询结果

AI质量提示版本

版本 4 具有更高的质量通过率和接受率,并且没有观察到的交接。

workflow_nameprompt_versionevaluated_runsquality_pass_rate_pctacceptance_rate_pcthandoff_rate_pctaverage_quality_scorecost_per_quality_pass_usd
support_replysupport-v356060400.690.03
support_replysupport-v45808000.830.03

综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。

AI quality by prompt version:来自 Find AI Quality Regressions by Prompt Version 示例结果的合成 quality_pass_rate_pct 值的静态图表
确定性示例输出的可索引 SVG。下载它以获取带有归属的文章、操作手册或设计评论。

重现示例

下载公共装置

JSON 包包含类型化事件契约, reproducible 输入行、确切的 SQL、预期输出、审阅注释和引擎版本。 CSV 包含显示的结果。

SQL 是如何工作的

  1. 1提示版本是一个显式事件字段,使推出比较可重现。
  2. 2质量合格率、产品验收和交接率显示了有用性的不同方面。
  3. 3成本除以成功的质量结果,而不是原始运行,这可以防止廉价的失败看起来高效。

需要决定的边缘情况

  • 在比较的版本中保持评估器定义和阈值稳定。
  • 将离线评估者分数与真实用户接受度分开,而不是将两者视为基本事实。
  • 当提示版本收到的流量存在重大差异时,按任务难度或客户群体进行细分。

推荐仪表板

  • 棒材:质量和验收率 prompt_version
  • 趋势:带有推出注释的切换率
  • 表:评估的运行次数和每次质量通过的成本

警报指导

仅在新版本达到审核的评估量后才发出持续质量或验收回归的警报。

读取警报设置

让查询示例发挥作用

相关埋点和指南

继续分析

在真实事件中运行它

创建表,调整字段并保存结果

免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。

获取 API 密钥