活动合约
查询期望的字段
| 字段 | 类型 | 为什么存在 |
|---|---|---|
| timestamp_utc | Timestamp | 终端智能体运行时间(UTC)。 |
| workflow | Utf8 | 稳定的产品工作流程或任务类别。 |
| model | Utf8 | 从提供商响应中记录的模型标识符。 |
| status | Utf8 | 技术运行成功或失败。 |
| reviewer_outcome | Utf8 | 接受、修改、拒绝或 not_reviewed。 |
| human_handoff | Boolean | 是否由人类接管该任务。 |
| duration_ms | Float64 | 端到端工作流程持续时间。 |
| estimated_cost_usd | Float64 | 运行的标准化估计模型成本。 |
DataFusion SQL
复制查询
sql
SELECT
workflow,
model,
COUNT(*) AS runs,
100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
/ NULLIF(SUM(CASE
WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
END), 0) AS reviewed_acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
AVG(duration_ms) AS average_duration_ms,
SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。
查询结果
按工作流程审查智能体接受情况
退款审核在技术上完成,但比其他工作流程需要更多的修改或人工接管。
support_triage
86.4%
comparison 18.2%
refund_review
68.7%
comparison 42.9%
knowledge_draft
91.6%
comparison 8.4%
| workflow | model | runs | technical_success_rate_pct | reviewed_acceptance_rate_pct | human_handoff_rate_pct | average_duration_ms | cost_per_run_usd |
|---|---|---|---|---|---|---|---|
| support_triage | configured-model-a | 1,840 | 98.1 | 86.4 | 18.2 | 4,820 | 0.04 |
| refund_review | configured-model-b | 620 | 96.8 | 68.7 | 42.9 | 8,110 | 0.07 |
| knowledge_draft | configured-model-a | 940 | 99.2 | 91.6 | 8.4 | 3,910 | 0.04 |
综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。
SQL 是如何工作的
- 1技术成功和审核验收仍然是分开的,因此完整的 API 调用不能代表产品质量。
- 2接受分母排除未经审查的运行,而不是默默地将丢失的标签视为拒绝。
- 3交接、持续时间和成本暴露了表面上高完成率背后的运营权衡。
需要决定的边缘情况
- 在比较团队或模型版本之前,审阅者的结果需要稳定的评分标准和评估者之间的检查。
- 自动解决的简单任务可能会导致接受度上升;当任务难度发生变化时,按其难度进行细分。
- 除非得到明确批准,否则请将原始提示、完成情况和敏感工具结果排除在活动之外。
推荐仪表板
- 酒吧:按工作流程审查验收和人工交接
- 趋势:模型或即时发布后接受
- 表:按受控评审结果分组的运行
让查询示例发挥作用
相关埋点和指南
定义源数据
此分析的事件模式
继续分析
在真实事件中运行它
创建表,调整字段并保存结果
免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。