LLM cost tracker:实施到决策
将提示视为实施概要。有用的工件不仅仅是复制的代码,而是经过审查的事件契约,可以产生值得信赖的答案。
- 1
设定边界
Instrument the point where llm_request_completed becomes final.
- 2
创建合同
Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
运行夹具
在依赖汇总结果之前,先练习已知的成功、失败、重试和空结果案例。
- 4
回答问题
每个保留帐户哪些功能的成本最高?
模板与用例
使用此模板添加事件
当测量目标已经明确时,复制此模板。使用匹配的用例指南来查看事件边界、成功定义以及生成的 SQL 应支持的决策。
模板
将其粘贴到您的编码代理中
更换 YOUR_API_KEY,在本地运行流程,然后验证生成的事件和仪表板。
法学硕士成本追踪
使用 Telemetry 仪器法学硕士的使用和成本。
使用 /skill.md 和此 Telemetry API 密钥:YOUR_API_KEY
使用以下命令记录每个模型请求:
provider、model、route、feature、user_id、team_id、input_tokens、output_tokens、total_tokens、estimated_cost_usd、latency_ms、status、 retry_count 和 error_type。
连接结果事件,例如 copied、saved、accepted、retried、regenerated 或 discarded。
创建每日支出、按功能列出的成本、按帐户列出的成本、按模型列出的故障、p95 延迟和接受输出率的仪表板。
默认情况下不存储原始提示或完成。要捕获的事件
验证清单
完整的埋点通行证留下了什么
活动
综合事件以稳定的名称和字段类型到达预期的表。
查询
第一个 SQL 查询返回具有明确时间窗口的合理行。
意见
仪表板使用真实字段并包含足够的上下文来解释更改。
安全
检查提示、正文、凭据、签名和私人内容是否经过编辑。
事件模式示例
此工作流的事件模式
在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 AI代理监控
通过可审查的 SQL 连接智能体运行、工具使用、模型成本、质量和产品结果。
相关 SQL 查询示例
更多 SQL 示例
针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。
按功能和模型计算 LLM 成本
哪些产品功能和型号正在推动法学硕士支出?
打开查询示例衡量每美元所接受的人工智能产出
哪种模型和功能组合可以产生最受接受的单位美元产出?
打开查询示例衡量 LLM 缓存节省和重试成本
有多少模型成本与重试和缓存未命中相关?
打开查询示例测量 LLM 获得第一个令牌的时间
在输出开始之前,哪些模型和功能组合感觉很慢?
打开查询示例更多模板