Envía y verifica eventos con LlamaIndex agent telemetry
Utilice LlamaIndex agent telemetry en un límite de aplicación controlado, mantenga el contrato de evento pequeño y verifique un resultado conocido antes de crear vistas agregadas.
- 1
Elige el resultado
Monitoreo del agente LlamaIndex
- 2
Definir el contrato
run_id, flujo de trabajo, agent_name, model_alias, index_version, prompt_version y versión
- 3
Emitir en el resultado
Ajuste el límite de flujo de trabajo o agente público.run y emita un resultado de aplicación de terminal una vez que se complete el controlador.
- 4
Verificar la evidencia
Exercise a known fixture, then inspect agent_run_completed for one correctly typed terminal row.
Antes de empezar
Antes de empezar
- LlamaIndex y telemetry-sh inicializados en un proceso Python confiable
- Un ID de ejecución propiedad de la aplicación más flujo de trabajo estable, agente, índice y versiones de lanzamiento
- Una política revisada para mensajes, resultados, nodos recuperados, argumentos de herramientas y contenido de seguimiento.
Configuración de entrega
Instalar e inicializar el lado del servidor
Inicialice Telemetry para código síncrono o TelemetryAsync para código asíncrono una vez por proceso con una clave del lado del servidor. Mantenga las credenciales de ingesta fuera de los paquetes de navegador, las variables de entorno visibles para el cliente, el control de fuente, los registros y los mensajes de excepción.
Instalación pip
python -m pip install telemetry-sh- 1Prepare un cliente de entrega del lado del servidor reutilizable con comportamiento de red limitado.
- 2Agregue el evento de resultado en el límite de éxito, error, reintento o tiempo de espera.
- 3Envíe accesorios controlados e inspeccione las filas almacenadas antes de habilitar una alerta.
Fragmento
Comience con un evento estructurado
Agregue esta forma donde el flujo de trabajo se completa, falla o se vuelve a intentar. Luego cree el panel a partir de campos reales.
Evento LlamaIndex agent telemetry
from time import perf_counter
async def run_support_agent(agent, user_message: str, run_id: str):
started_at = perf_counter()
status = "success"
error_type = None
try:
return await agent.run(user_msg=user_message)
except Exception as error:
status = "failed"
error_type = classify_agent_error(error)
raise
finally:
await telemetry.log("agent_run_completed", {
"run_id": run_id,
"workflow": "support_resolution",
"agent_name": "llamaindex_support_agent",
"status": status,
"error_type": error_type,
"duration_ms": round((perf_counter() - started_at) * 1000),
"index_version": INDEX_VERSION,
"prompt_version": PROMPT_VERSION,
"release": APP_RELEASE,
})Esquema del evento
run_id, flujo de trabajo, agent_name, model_alias, index_version, prompt_version y versión
estado, duration_ms, tool_call_count, retry_count, human_handoff y error_type
estimated_cost_usd, aceptado, evaluation_score, evaluator_version y entorno cuando esté aprobado
Comprueba tu configuración
Punto de control 1
Ajuste el límite de flujo de trabajo o agente público.run y emita un resultado de aplicación de terminal una vez que se complete el controlador.
Punto de control 2
Utilice la instrumentación y los eventos de flujo de trabajo de LlamaIndex para la inspección a nivel de paso; envíe solo los campos agregados necesarios para una pregunta SQL revisada a Telemetry.
Punto de control 3
No serialice solicitudes, mensajes de agente, nodos recuperados, incrustaciones, entradas de herramientas, salidas de herramientas ni mensajes de excepción en el evento.
Verificación
Demuestra que el evento llegó
Ejecute esto después de ejercitar casos conocidos de éxito y fracaso. Reemplace el nombre de la tabla alternativa si su contrato de evento final difiere del fragmento.
Consulta de verificación LlamaIndex agent telemetry
SELECT *
FROM agent_run_completed
ORDER BY timestamp_utc DESC
LIMIT 20;Referencias de implementación
Revise el contrato del evento, la guía de seguridad de los datos y la documentación primaria previa antes de habilitar una nueva ruta de producción.
Dónde registrar eventos
Mantenga el evento de resultado pequeño y recuperable
Este patrón proporciona
- Un resultado limitado y listo para SQL junto al flujo de trabajo ascendente.
- Campos estables para paneles, alertas y correlación entre eventos.
- Una ruta basada en dispositivos para validar el comportamiento de éxito, fracaso, reintento y tiempo de espera.
Este patrón no proporciona
- Un exportador de OTLP, un canal de recopilación automática o un reemplazo para seguimientos detallados y registros de diagnóstico.
- Entrega exactamente una vez simplemente porque la carga útil contiene un ID de evento.
- Permiso para recopilar cargas útiles sin procesar del proveedor, contenido de usuario, credenciales o datos regulados.
Ejemplos de esquemas de eventos
Esquemas de eventos para este flujo de trabajo
Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.
llm_request_completed
Una solicitud de proveedor de modelo completa.
Ver esquemaai_agent_run_completed
Un resultado de terminal por ejecución de agente lógico.
Ver esquemaagent_tool_call_completed
Un intento de llamada a herramienta completado dentro de una ejecución de agente.
Ver esquemaFunción relacionada del producto
Continúe este flujo de trabajo en Monitoreo de agentes de IA
Conecte las ejecuciones de agentes, el uso de herramientas, el costo del modelo, la calidad y los resultados del producto con SQL revisable.
Recetas SQL relacionadas
Más ejemplos de SQL
Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.
Evaluar la calidad de recuperación de RAG por versión
¿Mejoró el nuevo oleoducto RAG las tasas de recuperación y respuesta en tierra?
Receta abiertaMida el éxito de las tareas de los agentes de IA y la transferencia humana
¿Qué flujos de trabajo de agentes finalizan exitosamente y producen resultados aceptados?
Receta abiertaConsultar eventos de llamadas de herramientas de IA anidadas
¿Qué herramientas y argumentos de IA están asociados con la mayor cantidad de llamadas fallidas?
Receta abiertaCalcular el costo de LLM por característica y modelo
¿Qué características y modelos de productos impulsan el gasto en LLM?
Receta abiertaExplorar por familia de implementación
Comparar patrones de integración relacionados
Plantillas para combinar con esta integración
Plantilla de observabilidad del agente de IA
Realice un seguimiento de las ejecuciones de agentes, llamadas de herramientas, reintentos, latencia de modelos, errores y resultados aceptados con eventos estructurados listos para SQL.
Abrir plantillaPlantilla de auditoría de seguridad del agente de IA
Instrumente decisiones de autorización de herramientas, versiones de políticas, aprobaciones humanas y resultados de terminales con eventos estructurados seguros para la privacidad.
Abrir plantillaRastreador de costos de LLM
Mida el gasto del modelo, el uso de tokens, la latencia, la tasa de fallas y las señales de valor por función, usuario y cuenta.
Abrir plantillaMás integraciones
Agente Mastra Telemetry
Realice un seguimiento de los resultados del flujo de trabajo y del agente de Mastra, la actividad de las herramientas, la latencia, los reintentos, el costo y la aceptación del producto junto con los seguimientos y evaluaciones integrados.
abrir guiaOpenAI Agente Telemetry
Registre las ejecuciones del agente OpenAI, las llamadas a herramientas, el uso del modelo, la latencia, el costo y los resultados finales con eventos estructurados.
abrir guiaObservabilidad del agente LangGraph
Mida los resultados de ejecución de LangGraph, las fallas de nodos y herramientas, los reintentos, los puntos de control, las transferencias humanas, la latencia y la calidad de las tareas revisadas.
abrir guia