将代币使用转化为可审查的单位经济效益
当版本化估计与重试和应用程序实际评估的下游结果相结合时,提供程序的使用变得更加有用。
- 1
型号要求
捕获提供者、模型、功能、令牌、延迟、缓存和重试上下文。
- 2
成本估算
应用注明日期的价格来源并在估算旁边保留其版本。
- 3
产品成果
将请求连接到已接受、已解决、已保存、已升级或已放弃的工作。
- 4
单位经济效益
比较每个审核结果的成本,而不是单独比较令牌或请求量。
用例与模板
选择要衡量的内容
使用用例指南来选择结果、事件边界和分析问题。当您准备好接受较短的复制粘贴实施简介时,请打开匹配的模板。
代理提示
将其粘贴到您的编码代理中
更换 YOUR_API_KEY 注册后,然后要求智能体运行产品流程并验证第一个事件。
OpenAI cost monitoring 设置提示
使用 Telemetry 检测该项目,以便我们可以了解 OpenAI 和 LLM 的用法。
使用 /skill.md 和此 Telemetry API 密钥:YOUR_API_KEY
请登录:
1. 每个型号请求均带有 model、provider、route、feature、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status 和 error_type(如果相关)。
2、座席或助理进行工具调用,包括tool_name、status、latency_ms、result_category。
3. 面向用户的AI工作流程结果,包括feature、status、retry_count,以及用户是否是accepted、copied、saved或discarded结果。
4. 仪表板,其中包含每日成本、按功能划分的成本、按模型划分的故障、p95 延迟和可接受的输出率。
除非我明确批准存储提示和原始完成,否则不要将提示和原始完成情况保留在遥测中。设置步骤
- 1默认情况下,记录每个模型请求而不存储原始提示。
- 2记录令牌、估计成本、延迟、提供商、模型和工作流程。
- 3连接产品结果事件,例如保存、复制、接受或重试。
- 4创建利润、可靠性和用户价值的仪表板。
要捕获的事件
由此解锁的问题
- 哪些人工智能功能的每位激活用户成本最高?
- 哪种模型的单位美元产出率最受接受?
- 重试或超时在哪些方面会损害转换?
LLM成本和单位经济学
标准化提供商的使用,然后衡量每个有用结果的成本
当令牌支出与功能、帐户、重试路径保持连接并查看创建它的用户结果时,令牌支出就变得可操作。使用计算器测试假设,然后针对多表 SQL 实验室运行相同的分析。
估计每月费用
输入的价格只是示例,并非当前的提供商价格。将它们替换为提供商协议中的费率和计费令牌类别。
提供者尝试
105,000
预计每月费用
US$304.50
估计重试成本
US$14.50
接受的输出
60,000
每个接受输出的成本
US$0.0051
此仅限浏览器的估算不会发送到 Telemetry,也不是提供商发票。
提供商中立的事件合约
保留您需要的提供商响应字段,但规范化分析表面,以便模型和定价更改不需要新的仪表板。
| 标准化字段 | 为什么他们属于在一起 |
|---|---|
| provider, model, feature | 将使用情况归因于提供商和产品工作流程。 |
| input_tokens, output_tokens | 保留提供商报告的使用组件。 |
| cached_input_tokens, reasoning_tokens | 如果可用,请将可选的计费类别分开。 |
| estimated_cost_usd, pricing_version | 使分析估计在价格变化后可重复。 |
| retry_count, cache_hit, latency_ms | 解释执行路径内的成本和可靠性变化。 |
| accepted, saved, discarded, human_handoff | 将提供商的消费与经过审查的产品结果联系起来。 |
运行连接分析
使用共享帐户和 llm_requests 表来计算按计划接受的每个输出的成本。
开放 SQL 实验室按功能细分成本
检查完整的事件架构、DataFusion 查询、结果、图表和仪表板建议。
开放成本查询示例测量重试和缓存成本
将可避免的提供者尝试和缓存节省与有意的用户需求分开。
打开重试查询示例事件模式示例
此工作流的事件模式
在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 AI代理监控
通过可审查的 SQL 连接智能体运行、工具使用、模型成本、质量和产品结果。
相关 SQL 查询示例
更多 SQL 示例
针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。
相关页面