跳转到内容
Telemetry
仪表板示例

LLM 的使用和单位经济性 仪表板

将模型调用连接到产品工作流程和帐户,以便可以一起审查代币数量、延迟、故障和成本。

审阅者 Telemetry产品团队 . 决策、事件粒度、指标、DataFusion SQL、综合结果、假设、新鲜度和解释边界. 审查标准和所有权

行纹

按模型分组之前的一个终端模型提供商请求。

支持决策

选择用于保质模型、缓存、重试或即时效率审核的工作流程。

公制合约

将分母和单位放在图表旁边

使这些名称适应您的合同,同时保留声明的谷物。在映射来自生产生产者的字段之前检查链接的事件模式。

  • 要求
  • 输入和输出令牌
  • 预计费用
  • 每个成功请求的费用
检查事件架构
完整的DataFusion SQL

在调整字段之前检查查询

此公共查询是一个起始定义。添加适合您的生产事件合同的有限时间过滤器、完整桶策略、环境和最小数量。

SELECT
  model,
  COUNT(*) AS requests,
  SUM(input_tokens) AS input_tokens,
  SUM(output_tokens) AS output_tokens,
  ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
  ROUND(
    SUM(cost_usd)
    / NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
    4
  ) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;
数据假设

在发布结果之前证明这些

  • 令牌的使用和状态在提供者响应边界处是最终的。
  • 事件级成本使用版本化的价格分配。
  • 提供商发票仍然是真实的财务来源。
查询审核

确保仪表板值得信赖的检查

  • 分配共享模型支出时添加工作流程和帐户字段。
  • 将同一完整期间的汇总估算与发票进行核对。
  • 将成本与质量和成功进行比较;仅仅降低成本并不能带来结果。

解释边界

这个结果本身不能证明什么

使用提供商发票作为真实的财务来源。事件级成本是分配估算,除非与计费进行核对。

相关仪表板示例

用已知数据验证定义

在将查询连接到生产仪表板或警报之前,运行具有已知成功、失败、缺失、重复和边界情况的固定装置。