活动合约
查询期望的字段
| 字段 | 类型 | 为什么存在 |
|---|---|---|
| timestamp_utc | Timestamp | 记录工作流程结果的时间。 |
| feature | Utf8 | 产品特性稳定。 |
| model | Utf8 | 提供者模型标识符。 |
| accepted | Boolean | 用户是否接受或保存结果。 |
| estimated_cost_usd | Float64 | 模型请求的成本。 |
DataFusion SQL
复制查询
sql
SELECT
feature,
model,
COUNT(*) AS completed_outputs,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
SUM(estimated_cost_usd) AS cost_usd,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。
查询结果
每美元可接受的产出
最大的模型在接受率上获胜,但在成本调整后的吞吐量上失败。
support_draft
49.33 / USD
document_summary
17.83 / USD
research_report
2.16 / USD
| feature | model | completed_outputs | accepted_outputs | acceptance_rate_pct | cost_usd | accepted_outputs_per_dollar |
|---|---|---|---|---|---|---|
| support_draft | fast-small | 4,200 | 3,108 | 74 | 63 | 49.33 |
| document_summary | balanced-medium | 1,700 | 1,394 | 82 | 78.2 | 17.83 |
| research_report | reasoning-large | 510 | 464 | 90.98 | 215 | 2.16 |
综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。
SQL 是如何工作的
- 1验收率仅衡量已完成输出的质量。每美元的可接受产出增加了经济效益。
- 2最小样本阈值可以避免从少数请求中宣布获胜者。
- 3验收必须根据真实的产品行为(例如保存、发送、应用或复制)来定义,而不是假定的模型质量标签。
需要决定的边缘情况
- 如果被丢弃的输出通知了稍后的操作,那么它可能仍然有用;选择具有产品背景的结果信号。
- 比较同一功能内的模型,因为工作流程难度会改变接受度。
- 在因微小差异而进行代价高昂的模型迁移之前,请使用置信区间。
推荐仪表板
- 条形图:accepted_outputs_per_dollar(按功能和型号)
- 折线图:acceptance_rate_pct 随着时间的推移
- 表:模型实验的成本、延迟和结果
让查询示例发挥作用
相关埋点和指南
继续分析
在真实事件中运行它
创建表,调整字段并保存结果
免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。