Conecte la ejecución detallada con un resultado de producto duradero
Mantenga seguimientos a nivel de paso en la ruta de seguimiento de especialistas y luego emita un evento de terminal compacto que pueda unir la calidad, el costo, la confiabilidad y el comportamiento del producto del agente.
- 1
Ejecución del agente
Comience con un identificador de ejecución, un flujo de trabajo, un modelo y una versión de solicitud aprobados.
- 2
Herramientas y reintentos
Conserve pasos detallados para rastrear y clasificar fallas sin copiar cargas útiles.
- 3
Resultado terminal
Emitir éxito, fracaso, cancelación o transferencia humana con costo y duración.
- 4
decisión SQL
Compare los resultados aceptados, las fallas y la economía unitaria por característica y versión.
Antes de empezar
Antes de empezar
- El SDK de los agentes OpenAI y los paquetes telemetry-sh se inicializaron en un tiempo de ejecución del servidor
- Un nombre de flujo de trabajo documentado y resultados de éxito, fracaso y transferencia del terminal.
- Una decisión sobre qué contenido de solicitud, entrada de herramientas y salida debe permanecer excluido
Configuración de entrega
Instalar e inicializar el lado del servidor
Importe telemetry-sh en código solo de servidor e inicialícelo una vez con Process.env.TELEMETRY_API_KEY. Mantenga las credenciales de ingesta fuera de los paquetes de navegador, las variables de entorno visibles para el cliente, el control de fuente, los registros y los mensajes de excepción.
Instalación npm
npm install telemetry-sh- 1Prepare un cliente de entrega del lado del servidor reutilizable con comportamiento de red limitado.
- 2Agregue el evento de resultado en el límite de éxito, error, reintento o tiempo de espera.
- 3Envíe accesorios controlados e inspeccione las filas almacenadas antes de habilitar una alerta.
Fragmento
Comience con un evento estructurado
Agregue esta forma donde el flujo de trabajo se completa, falla o se vuelve a intentar. Luego cree el panel a partir de campos reales.
Evento OpenAI agent telemetry
await telemetry.log("agent_tool_called", {
run_id: runId,
workflow: "support_resolution",
agent_name: "support_agent",
model: "gpt-4.1",
tool_name: "lookup_order",
status: "success",
latency_ms: 842,
retry_count: 0,
estimated_cost_usd: 0.018,
prompt_version: "support-v3",
release: process.env.APP_RELEASE,
});Esquema del evento
run_id, flujo de trabajo, agent_name, modelo y prompt_version
estado, duration_ms, retry_count, total_tokens y estimated_cost_usd
tool_name, tool_status, human_handoff, reviewer_outcome y versión
Comprueba tu configuración
Punto de control 1
Emitir un resultado de producto compacto cuando finalice la tirada completa; mantenga los seguimientos del SDK para la depuración a nivel de paso en lugar de copiar cada intervalo en un segundo sistema.
Punto de control 2
Utilice un run_id compartido o un trace_id aprobado para conectar eventos de herramientas independientes sin almacenar argumentos o resultados de herramientas.
Punto de control 3
Pruebe los fallos de las herramientas, el rechazo de las barreras de seguridad, la transferencia, la cancelación y el comportamiento de descarga del exportador antes de confiar en los paneles de control de tasa de finalización.
Verificación
Demuestra que el evento llegó
Ejecute esto después de ejercitar casos conocidos de éxito y fracaso. Reemplace el nombre de la tabla alternativa si su contrato de evento final difiere del fragmento.
Consulta de verificación OpenAI agent telemetry
SELECT *
FROM agent_tool_called
ORDER BY timestamp_utc DESC
LIMIT 20;Referencias de implementación
Revise el contrato del evento, la guía de seguridad de los datos y la documentación primaria previa antes de habilitar una nueva ruta de producción.
Dónde registrar eventos
Mantenga el evento de resultado pequeño y recuperable
Este patrón proporciona
- Un resultado limitado y listo para SQL junto al flujo de trabajo ascendente.
- Campos estables para paneles, alertas y correlación entre eventos.
- Una ruta basada en dispositivos para validar el comportamiento de éxito, fracaso, reintento y tiempo de espera.
Este patrón no proporciona
- Un exportador de OTLP, un canal de recopilación automática o un reemplazo para seguimientos detallados y registros de diagnóstico.
- Entrega exactamente una vez simplemente porque la carga útil contiene un ID de evento.
- Permiso para recopilar cargas útiles sin procesar del proveedor, contenido de usuario, credenciales o datos regulados.
Ejemplos de esquemas de eventos
Esquemas de eventos para este flujo de trabajo
Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.
llm_request_completed
Una solicitud de proveedor de modelo completa.
Ver esquemaai_agent_run_completed
Un resultado de terminal por ejecución de agente lógico.
Ver esquemaagent_tool_authorization_decided
Una decisión de autorización final por intento de llamada de herramienta lógica.
Ver esquemaFunción relacionada del producto
Continúe este flujo de trabajo en Monitoreo de agentes de IA
Conecte las ejecuciones de agentes, el uso de herramientas, el costo del modelo, la calidad y los resultados del producto con SQL revisable.
Recetas SQL relacionadas
Más ejemplos de SQL
Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.
Auditar las decisiones de autorización de la herramienta del agente de IA
¿Qué herramientas de agentes se niegan o se envían a la aprobación humana con mayor frecuencia?
Receta abiertaEncuentre regresiones de calidad de IA por versión de solicitud
¿La nueva versión del mensaje mejoró la calidad sin aumentar las transferencias humanas?
Receta abiertaReconstruir una línea de tiempo de flujo de trabajo correlacionado
¿Qué sucedió, en orden, durante el último flujo de trabajo fallido?
Receta abiertaConsultar eventos de llamadas de herramientas de IA anidadas
¿Qué herramientas y argumentos de IA están asociados con la mayor cantidad de llamadas fallidas?
Receta abiertaDetectar bucles repetidos de herramientas de agentes de IA
¿Qué ejecuciones de agentes aparecen atrapadas en un bucle de herramientas repetitivo?
Receta abiertaCalcular el costo de LLM por característica y modelo
¿Qué características y modelos de productos impulsan el gasto en LLM?
Receta abiertaMedir el ahorro de caché de LLM y el costo de reintento
¿Cuánto costo del modelo está asociado con los reintentos y los errores de caché?
Receta abiertaMedir el tiempo de LLM hasta el primer token
¿Qué combinaciones de modelos y características se sienten lentas antes de que comience la producción?
Receta abiertaMedir las producciones de IA aceptadas por dólar
¿Qué combinación de modelo y características produce los resultados por dólar más aceptados?
Receta abiertaMida el éxito de las tareas de los agentes de IA y la transferencia humana
¿Qué flujos de trabajo de agentes finalizan exitosamente y producen resultados aceptados?
Receta abiertaEvaluar la calidad de recuperación de RAG por versión
¿Mejoró el nuevo oleoducto RAG las tasas de recuperación y respuesta en tierra?
Receta abiertaExplorar por familia de implementación
Comparar patrones de integración relacionados
Plantillas para combinar con esta integración
Plantilla de observabilidad del agente de IA
Realice un seguimiento de las ejecuciones de agentes, llamadas de herramientas, reintentos, latencia de modelos, errores y resultados aceptados con eventos estructurados listos para SQL.
Abrir plantillaPlantilla de auditoría de seguridad del agente de IA
Instrumente decisiones de autorización de herramientas, versiones de políticas, aprobaciones humanas y resultados de terminales con eventos estructurados seguros para la privacidad.
Abrir plantillaRastreador de costos de LLM
Mida el gasto del modelo, el uso de tokens, la latencia, la tasa de fallas y las señales de valor por función, usuario y cuenta.
Abrir plantillaMás integraciones
Vercel SDK de IA Telemetry
Realice un seguimiento de las finalizaciones de transmisión, el uso de tokens, los reintentos, la latencia y los resultados aceptados de los flujos de trabajo del SDK de AI.
abrir guiaClaude Agente SDK Telemetry
Realice un seguimiento de los resultados de ejecución del SDK de Claude Agent, la duración, la actividad de las herramientas, los turnos, el costo y las señales de productos aprobados sin almacenar indicaciones ni cargas útiles de las herramientas.
abrir guiaAgente de IA Pydantic Telemetry
Mida los resultados de ejecución de Pydantic AI, las salidas validadas, los reintentos, la actividad de las herramientas, la latencia, el uso y la aceptación del producto con eventos estructurados seguros.
abrir guia