活动合约
查询期望的字段
| 字段 | 类型 | 为什么存在 |
|---|---|---|
| timestamp_utc | Timestamp | 评估完成时间(UTC)。 |
| workflow_name | Utf8 | 有界 AI 工作流程名称。 |
| prompt_version | Utf8 | 已审核提示或政策版本。 |
| model_name | Utf8 | 有界模型名称。 |
| quality_score | Float64 | 来自有记录的评估员的标准化分数。 |
| quality_passed | Boolean | 运行是否通过了审核的质量阈值。 |
| accepted_without_edit | Boolean | 用户是否接受输出而不进行编辑。 |
| human_handoff | Boolean | 工作流程是否升级到人员。 |
| cost_usd | Float64 | 运行的标准化模型成本。 |
| environment | Utf8 | 部署环境。 |
DataFusion SQL
复制查询
sql
SELECT
workflow_name,
prompt_version,
COUNT(*) AS evaluated_runs,
100.0 * SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS quality_pass_rate_pct,
100.0 * SUM(CASE WHEN accepted_without_edit THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS handoff_rate_pct,
AVG(quality_score) AS average_quality_score,
SUM(cost_usd) / NULLIF(
SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END),
0
) AS cost_per_quality_pass_usd
FROM ai_quality_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
AND environment = 'production'
GROUP BY workflow_name, prompt_version
ORDER BY workflow_name, prompt_version;此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。
查询结果
AI质量提示版本
版本 4 具有更高的质量通过率和接受率,并且没有观察到的交接。
support-v3
60%
comparison 40%
support-v4
80%
comparison 0%
| workflow_name | prompt_version | evaluated_runs | quality_pass_rate_pct | acceptance_rate_pct | handoff_rate_pct | average_quality_score | cost_per_quality_pass_usd |
|---|---|---|---|---|---|---|---|
| support_reply | support-v3 | 5 | 60 | 60 | 40 | 0.69 | 0.03 |
| support_reply | support-v4 | 5 | 80 | 80 | 0 | 0.83 | 0.03 |
综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。
SQL 是如何工作的
- 1提示版本是一个显式事件字段,使推出比较可重现。
- 2质量合格率、产品验收和交接率显示了有用性的不同方面。
- 3成本除以成功的质量结果,而不是原始运行,这可以防止廉价的失败看起来高效。
需要决定的边缘情况
- 在比较的版本中保持评估器定义和阈值稳定。
- 将离线评估者分数与真实用户接受度分开,而不是将两者视为基本事实。
- 当提示版本收到的流量存在重大差异时,按任务难度或客户群体进行细分。
推荐仪表板
- 棒材:质量和验收率 prompt_version
- 趋势:带有推出注释的切换率
- 表:评估的运行次数和每次质量通过的成本
让查询示例发挥作用
相关埋点和指南
继续分析
在真实事件中运行它
创建表,调整字段并保存结果
免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。