行纹
按模型分组之前的一个终端模型提供商请求。
支持决策
选择用于保质模型、缓存、重试或即时效率审核的工作流程。
成本份额%
演示数据,而不是客户结果或基准
reasoning
46
summarize
29
classify
14
extract
11
完整的DataFusion SQL
在调整字段之前检查查询
此公共查询是一个起始定义。添加适合您的生产事件合同的有限时间过滤器、完整桶策略、环境和最小数量。
SELECT
model,
COUNT(*) AS requests,
SUM(input_tokens) AS input_tokens,
SUM(output_tokens) AS output_tokens,
ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
ROUND(
SUM(cost_usd)
/ NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
4
) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;数据假设
在发布结果之前证明这些
- 令牌的使用和状态在提供者响应边界处是最终的。
- 事件级成本使用版本化的价格分配。
- 提供商发票仍然是真实的财务来源。
查询审核
确保仪表板值得信赖的检查
- 分配共享模型支出时添加工作流程和帐户字段。
- 将同一完整期间的汇总估算与发票进行核对。
- 将成本与质量和成功进行比较;仅仅降低成本并不能带来结果。
解释边界
这个结果本身不能证明什么
使用提供商发票作为真实的财务来源。事件级成本是分配估算,除非与计费进行核对。
相关仪表板示例
用已知数据验证定义
在将查询连接到生产仪表板或警报之前,运行具有已知成功、失败、缺失、重复和边界情况的固定装置。