将代币使用转化为可审查的单位经济效益
当版本化估计与重试和应用程序实际评估的下游结果相结合时，提供程序的使用变得更加有用。
- 1
型号要求
捕获提供者、模型、功能、令牌、延迟、缓存和重试上下文。
- 2
成本估算
应用注明日期的价格来源并在估算旁边保留其版本。
- 3
产品成果
将请求连接到已接受、已解决、已保存、已升级或已放弃的工作。
- 4
单位经济效益
比较每个审核结果的成本，而不是单独比较令牌或请求量。
用例与模板
选择要衡量的内容
使用用例指南来选择结果、事件边界和分析问题。当您准备好接受较短的复制粘贴实施简介时，请打开匹配的模板。
代理提示
将其粘贴到您的编码代理中
更换 YOUR_API_KEY 注册后，然后要求智能体运行产品流程并验证第一个事件。
OpenAI cost monitoring 设置提示
使用 Telemetry 检测该项目，以便我们可以了解 OpenAI 和 LLM 的用法。
使用 /skill.md 和此 Telemetry API 密钥：YOUR_API_KEY
请登录：
1. 每个型号请求均带有 model、provider、route、feature、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status 和 error_type（如果相关）。
2、座席或助理进行工具调用，包括tool_name、status、latency_ms、result_category。
3. 面向用户的AI工作流程结果，包括feature、status、retry_count，以及用户是否是accepted、copied、saved或discarded结果。
4. 仪表板，其中包含每日成本、按功能划分的成本、按模型划分的故障、p95 延迟和可接受的输出率。
除非我明确批准存储提示和原始完成，否则不要将提示和原始完成情况保留在遥测中。设置步骤
- 1默认情况下，记录每个模型请求而不存储原始提示。
- 2记录令牌、估计成本、延迟、提供商、模型和工作流程。
- 3连接产品结果事件，例如保存、复制、接受或重试。
- 4创建利润、可靠性和用户价值的仪表板。
要捕获的事件
由此解锁的问题
- 哪些人工智能功能的每位激活用户成本最高？
- 哪种模型的单位美元产出率最受接受？
- 重试或超时在哪些方面会损害转换？
LLM成本和单位经济学
标准化提供商的使用，然后衡量每个有用结果的成本
当令牌支出与功能、帐户、重试路径保持连接并查看创建它的用户结果时，令牌支出就变得可操作。使用计算器测试假设，然后针对多表 SQL 实验室运行相同的分析。
估计每月费用
输入的价格只是示例，并非当前的提供商价格。将它们替换为提供商协议中的费率和计费令牌类别。
提供者尝试
105,000
预计每月费用
US$304.50
估计重试成本
US$14.50
接受的输出
60,000
每个接受输出的成本
US$0.0051
此仅限浏览器的估算不会发送到 Telemetry，也不是提供商发票。
提供商中立的事件合约
保留您需要的提供商响应字段，但规范化分析表面，以便模型和定价更改不需要新的仪表板。
| 标准化字段 | 为什么他们属于在一起 |
|---|---|
| provider, model, feature | 将使用情况归因于提供商和产品工作流程。 |
| input_tokens, output_tokens | 保留提供商报告的使用组件。 |
| cached_input_tokens, reasoning_tokens | 如果可用，请将可选的计费类别分开。 |
| estimated_cost_usd, pricing_version | 使分析估计在价格变化后可重复。 |
| retry_count, cache_hit, latency_ms | 解释执行路径内的成本和可靠性变化。 |
| accepted, saved, discarded, human_handoff | 将提供商的消费与经过审查的产品结果联系起来。 |
运行连接分析
使用共享帐户和 llm_requests 表来计算按计划接受的每个输出的成本。
开放 SQL 实验室按功能细分成本
检查完整的事件架构、DataFusion 查询、结果、图表和仪表板建议。
开放成本查询示例测量重试和缓存成本
将可避免的提供者尝试和缓存节省与有意的用户需求分开。
打开重试查询示例事件模式示例
此工作流的事件模式
在将查询或代码片段适应生产之前，请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 AI代理监控
通过可审查的 SQL 连接智能体运行、工具使用、模型成本、质量和产品结果。
相关 SQL 查询示例
更多 SQL 示例
针对此工作流程中的结构化字段运行查询，检查示例结果，并将有用的答案转换为仪表板或警报。
下一步
创建您的智能体将使用的 API 密钥
免费计划足以运行提示、发送测试事件和查看第一个仪表板。
相关页面