OpenAI Responses API Telemetry:从边界到验证行
在受控应用程序边界使用 OpenAI Responses API Telemetry,保持事件契约较小,并在构建聚合视图之前验证已知结果。
- 1
选择结果
响应 API 成本和延迟分析
- 2
定义合同
operation_id、response_id、功能、工作流程、提供程序、模型和版本
- 3
埋点边界
包装应用程序拥有的 Responses API 调用,并在了解使用情况和结果后发出一个终端请求事件。
- 4
核实证据
Exercise a known fixture, then inspect openai_response_completed for one correctly typed terminal row.
开始之前
先决条件和界限
- 官方 OpenAI JavaScript SDK 和 telemetry-sh 在可信服务器代码中初始化
- 应用程序拥有的操作 ID 以及稳定的功能、工作流程、模型别名和版本名称
- 经过审查的提示、响应、工具和标识符数据的策略
交货设置
安装并初始化服务器端
在仅服务器代码中导入 telemetry-sh 并使用 process.env.TELEMETRY_API_KEY 对其进行一次初始化。 将摄取凭据保留在浏览器包、客户端可见的环境变量、源代码控制、日志和异常消息之外。
npm安装
npm install telemetry-sh- 1准备一个具有有限网络行为的可重用服务器端交付客户端。
- 2在成功、失败、重试或超时边界处添加结果事件。
- 3在启用警报之前发送受控装置并检查存储的行。
片段
从一个结构化事件开始
在工作流程完成、失败或重试的位置添加此形状。然后从真实的字段构建仪表板。
OpenAI Responses API Telemetry事件
import OpenAI from "openai";
import { Telemetry } from "telemetry-sh";
const openai = new OpenAI();
const telemetry = new Telemetry(process.env.TELEMETRY_API_KEY);
const startedAt = performance.now();
let response;
let status = "success";
let errorType;
try {
response = await openai.responses.create({
model: process.env.OPENAI_MODEL ?? "gpt-5.6",
input: approvedInput,
});
return response.output_text;
} catch (error) {
status = "failed";
errorType = classifyOpenAIError(error);
throw error;
} finally {
await telemetry.log("openai_response_completed", {
operation_id: operationId,
response_id: response?.id,
feature: "support_draft",
provider: "openai",
model: response?.model ?? process.env.OPENAI_MODEL ?? "gpt-5.6",
status,
error_type: errorType,
duration_ms: Math.round(performance.now() - startedAt),
input_tokens: response?.usage?.input_tokens ?? 0,
output_tokens: response?.usage?.output_tokens ?? 0,
total_tokens: response?.usage?.total_tokens ?? 0,
release: process.env.APP_RELEASE,
});
}活动合约
operation_id、response_id、功能、工作流程、提供程序、模型和版本
状态、duration_ms、input_tokens、output_tokens、total_tokens、retry_count 和 error_type
tool_call_count,已接受,human_handoff、estimated_cost_usd 和 pricing_version(已批准)
实施检查点
检查站 1
包装应用程序拥有的 Responses API 调用,并在了解使用情况和结果后发出一个终端请求事件。
检查站 2
提供商使用支持代币记账,但成本是应用程序拥有的估计,需要过时的价格来源和单独的对账。
检查站 3
默认情况下,将提示、生成的输出、工具参数、工具结果、API 密钥和不受限制的异常消息保留在事件之外。
验证
证明事件已到达
在演练已知的成功和失败案例后运行此命令。如果您的最终事件契约与代码片段不同,请替换后备表名称。
OpenAI Responses API Telemetry 验证查询
SELECT *
FROM openai_response_completed
ORDER BY timestamp_utc DESC
LIMIT 20;实施参考
在启用新的生产路径之前,请检查事件合同、数据安全指南和上游主要文档。
生产边界
保持结果事件小且可恢复
该模式提供了
- 除了上游工作流程之外,还有一个有界的、SQL 就绪的结果。
- 用于仪表板、警报和跨事件关联的稳定字段。
- 用于验证成功、失败、重试和超时行为的夹具驱动路径。
该模式不提供
- OTLP 导出器、自动收集管道或详细跟踪和诊断日志的替代品。
- 仅因为有效负载包含事件 ID,所以仅传送一次。
- 收集原始提供商有效负载、用户内容、凭证或受监管数据的权限。
事件架构起点
此工作流程的事件契约
在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 AI代理监控
通过可审查的 SQL 连接智能体运行、工具使用、模型成本、质量和产品结果。
相关 SQL 查询示例
用 SQL 回答下一个问题
针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。
按功能和模型计算 LLM 成本
哪些产品功能和型号正在推动法学硕士支出?
打开查询示例衡量 LLM 缓存节省和重试成本
有多少模型成本与重试和缓存未命中相关?
打开查询示例测量 LLM 获得第一个令牌的时间
在输出开始之前,哪些模型和功能组合感觉很慢?
打开查询示例衡量每美元所接受的人工智能产出
哪种模型和功能组合可以产生最受接受的单位美元产出?
打开查询示例按提示版本查找 AI 质量回归
新的提示版本是否在不增加人工交接的情况下提高了质量?
打开查询示例按实施系列浏览
比较相关集成模式
与此集成配对的模板
更多集成