AI agent observability template: implementación a decisión
Trate el mensaje como un resumen de implementación. El artefacto útil no es sólo el código copiado, sino un contrato de evento revisado que produce una respuesta confiable.
- 1
Establecer el límite
Instrument the point where agent_run_started becomes final.
- 2
crear el contrato
Start with agent_run_started, agent_tool_called, agent_run_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
ejecutar un dispositivo
Pruebe casos conocidos de éxito, fracaso, reintento y resultados vacíos antes de confiar en resultados agregados.
- 4
Responde la pregunta
¿Qué herramientas fallan con más frecuencia?
Plantilla versus caso de uso
Usa esta plantilla para añadir eventos
Copie esta plantilla cuando el objetivo de medición ya esté claro. Utilice la guía de casos de uso correspondientes para revisar los límites de los eventos, las definiciones de éxito y las decisiones que debe admitir el SQL resultante.
Plantilla
Pega esto en tu agente de codificación
Reemplazar YOUR_API_KEY, ejecute el flujo localmente y luego verifique los eventos y paneles generados.
Plantilla de observabilidad del agente de IA
Agregue Telemetry a este flujo de trabajo de agente de IA.
Utilice /skill.md y esta clave API Telemetry: YOUR_API_KEY
Registro:
1. agent_run_started con agent_name, route, user_id, team_id, model, provider y input_category.
2. agent_tool_called con tool_name, status, latency_ms, retry_count y error_type.
3. agent_run_completed con status, duration_ms, total_tokens, estimated_cost_usd, output_category y accepted cuando estén disponibles.
4. agent_run_failed con error_type, failed_step, retry_count y duration_ms.
Cree consultas SQL para el volumen de ejecución, la tasa de fallas por herramienta, la duración de p95, el costo del modelo por característica y la tasa de salida aceptada.
No registre solicitudes sin procesar, completaciones, secretos, encabezados de autenticación ni datos personales a menos que se apruebe explícitamente.Eventos para capturar
Lista de verificación de verificación
Lo que deja un pase completo de instrumentación
Eventos
Los eventos sintéticos llegan a la tabla deseada con nombres y tipos de campos estables.
Consultas
Las primeras consultas SQL devuelven filas plausibles con una ventana de tiempo explícita.
Vistas
Un panel utiliza los campos reales e incluye suficiente contexto para explicar un cambio.
Seguridad
Se verificaron las indicaciones, cuerpos, credenciales, firmas y contenido privado para su redacción.
Ejemplos de esquemas de eventos
Esquemas de eventos para este flujo de trabajo
Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.
llm_request_completed
Una solicitud de proveedor de modelo completa.
Ver esquemaagent_tool_call_completed
Un intento de llamada a herramienta completado dentro de una ejecución de agente.
Ver esquemarag_retrieval_evaluated
Un resultado del evaluador por consulta elegible, versión de recuperación, evaluador y ejecución de candidato.
Ver esquemaFunción relacionada del producto
Continúe este flujo de trabajo en Monitoreo de agentes de IA
Conecte las ejecuciones de agentes, el uso de herramientas, el costo del modelo, la calidad y los resultados del producto con SQL revisable.
Recetas SQL relacionadas
Más ejemplos de SQL
Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.
Reconstruir una línea de tiempo de flujo de trabajo correlacionado
¿Qué sucedió, en orden, durante el último flujo de trabajo fallido?
Receta abiertaEncuentre regresiones de calidad de IA por versión de solicitud
¿La nueva versión del mensaje mejoró la calidad sin aumentar las transferencias humanas?
Receta abiertaConsultar eventos de llamadas de herramientas de IA anidadas
¿Qué herramientas y argumentos de IA están asociados con la mayor cantidad de llamadas fallidas?
Receta abiertaDetectar bucles repetidos de herramientas de agentes de IA
¿Qué ejecuciones de agentes aparecen atrapadas en un bucle de herramientas repetitivo?
Receta abiertaCalcular el costo de LLM por característica y modelo
¿Qué características y modelos de productos impulsan el gasto en LLM?
Receta abiertaMedir las producciones de IA aceptadas por dólar
¿Qué combinación de modelo y características produce los resultados por dólar más aceptados?
Receta abiertaEvaluar la calidad de recuperación de RAG por versión
¿Mejoró el nuevo oleoducto RAG las tasas de recuperación y respuesta en tierra?
Receta abiertaMás plantillas
Plantilla de auditoría de seguridad del agente de IA
Instrumente decisiones de autorización de herramientas, versiones de políticas, aprobaciones humanas y resultados de terminales con eventos estructurados seguros para la privacidad.
Abrir plantillaRastreador de costos de LLM
Mida el gasto del modelo, el uso de tokens, la latencia, la tasa de fallas y las señales de valor por función, usuario y cuenta.
Abrir plantilla