跳转到内容
Telemetry
人工智能和法学硕士 SQL查询示例

衡量每美元所接受的人工智能产出

将模型支出与已接受、已保存或其他有用的产品结果联系起来。

中级llm_requests已审核 2026-07-27测试用 阿帕奇 DataFusion 45.2.0

审阅者 Telemetry产品团队 . SQL 兼容性、事件契约、合成输出和操作注意事项. 审查标准和所有权

问题已回答

哪种模型和功能组合可以产生最受接受的单位美元产出?

当用户丢弃其输出时,最便宜的模型效率不高。此查询将接受的输出率与支出进行比较,以生成面向价值的单位指标。

活动合约

查询期望的字段

字段类型为什么存在
timestamp_utcTimestamp记录工作流程结果的时间。
featureUtf8产品特性稳定。
modelUtf8提供者模型标识符。
acceptedBoolean用户是否接受或保存结果。
estimated_cost_usdFloat64模型请求的成本。
DataFusion SQL

复制查询

sql
SELECT
  feature,
  model,
  COUNT(*) AS completed_outputs,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
  100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  SUM(estimated_cost_usd) AS cost_usd,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;

此只读查询是针对空类型表计划和执行的 阿帕奇 DataFusion 45.2.0。确定性样本输出是综合的并单独审查;根据您自己的数据验证字段类型、阈值和业务定义。 阅读测试方法。

查询结果

每美元可接受的产出

最大的模型在接受率上获胜,但在成本调整后的吞吐量上失败。

featuremodelcompleted_outputsaccepted_outputsacceptance_rate_pctcost_usdaccepted_outputs_per_dollar
support_draftfast-small4,2003,108746349.33
document_summarybalanced-medium1,7001,3948278.217.83
research_reportreasoning-large51046490.982152.16

综合示例输出。在将其用于操作决策之前,针对您自己的事件架构和阈值运行查询。

Accepted outputs per dollar:来自 Measure Accepted AI Outputs per Dollar 示例结果的合成 accepted_outputs_per_dollar 值的静态图表
确定性示例输出的可索引 SVG。下载它以获取带有归属的文章、操作手册或设计评论。

重现示例

下载公共装置

JSON 包包含类型化事件契约, illustrative 输入行、确切的 SQL、预期输出、审阅注释和引擎版本。 CSV 包含显示的结果。

SQL 是如何工作的

  1. 1验收率仅衡量已完成输出的质量。每美元的可接受产出增加了经济效益。
  2. 2最小样本阈值可以避免从少数请求中宣布获胜者。
  3. 3验收必须根据真实的产品行为(例如保存、发送、应用或复制)来定义,而不是假定的模型质量标签。

需要决定的边缘情况

  • 如果被丢弃的输出通知了稍后的操作,那么它可能仍然有用;选择具有产品背景的结果信号。
  • 比较同一功能内的模型,因为工作流程难度会改变接受度。
  • 在因微小差异而进行代价高昂的模型迁移之前,请使用置信区间。

推荐仪表板

  • 条形图:accepted_outputs_per_dollar(按功能和型号)
  • 折线图:acceptance_rate_pct 随着时间的推移
  • 表:模型实验的成本、延迟和结果

警报指导

模型、提示或工具更改后接受率急剧下降的警报;将成本效率作为仪表板而不是寻呼警报进行审查。

读取警报设置

让查询示例发挥作用

相关埋点和指南

继续分析

在真实事件中运行它

创建表,调整字段并保存结果

免费开始,发送结构化事件,并将查询结果用作图表、共享仪表板小部件或警报输入。

获取 API 密钥