Saltar al contenido
Telemetry
Monitoreo de agentes de IA

Supervise el costo de los agentes de IA, el uso de herramientas y los resultados con eventos estructurados

Capture eventos compactos en los límites del agente, la herramienta, el modelo y los resultados, luego use SQL inspeccionable para conectar la confiabilidad y el costo con el resultado que recibió un flujo de trabajo de usuario o empresarial.

Conectar la telemetría del agenteLeer la documentación

Resultados

  • Mida ejecuciones exitosas, traspasos, reintentos y fallas de herramientas por flujo de trabajo y versión.
  • Conecte el costo del token y la latencia con los resultados aceptados, rechazados o revisados.
  • Mantenga las indicaciones sin procesar, las completaciones, los documentos y los argumentos de las herramientas fuera de la ruta de análisis de forma predeterminada.

como funciona

Un flujo de trabajo revisable desde la señal hasta la decisión

1

Definir el resultado final

Elija una fila por ejecución de agente u operación comercial completa. Estado del registro, duración, flujo de trabajo, lanzamiento, transferencia, costo y un identificador de correlación seguro.

2

Agregue solo eventos de componentes útiles

Registre eventos de solicitud de herramientas y modelos cuando respondan a una pregunta conocida sobre confiabilidad, costo o calidad. No copie rastros completos ni cargas útiles confidenciales.

3

Unirse a operación con valor

Registre la aceptación, la revisión humana, el éxito de la tarea u otro resultado explícito del producto, luego compare las versiones con el SQL revisado y complete los denominadores.

Eventos de resultados del agente de IA en Telemetry

Eventos de resultados del agente de IA en Telemetry

Un espacio de trabajo Telemetry real que muestra las tablas de eventos y la superficie SQL utilizada para inspeccionar ejecuciones de agentes, llamadas de herramientas y resultados de terminales.

Límites

Lo que esto no reemplaza

  • Telemetry no ingiere OTLP ni proporciona una cascada de seguimiento distribuido. Mantenga los seguimientos de OpenTelemetry en un backend compatible con OTLP y correlacione los eventos de resultados seleccionados con un seguimiento seguro o un identificador de ejecución.
  • Telemetry no almacena ni reproduce mensajes, finalizaciones, documentos recuperados ni argumentos de herramientas como un producto de seguimiento LLM dedicado. Envíe únicamente campos delimitados y aprobados.
  • Telemetry no proporciona gestión de avisos, conjuntos de datos de evaluación, experimentos ni ejecución de puntuadores integrados. Conserve una plataforma de evaluación especializada cuando esos flujos de trabajo sean necesarios.

Ruta de prueba inspeccionable

Del contrato de evento a una respuesta visible

Este ejemplo utiliza un esquema declarado, SQL de solo lectura y resultados sintéticos deterministas. Demuestra el flujo de trabajo sin presentar datos de muestra como punto de referencia del cliente.

1. Contrato de evento

una fila en agent_run_outcomes, con los tipos utilizados por la consulta explícitos.

timestamp_utc
Timestamp
workflow
Utf8
model
Utf8
status
Utf8
reviewer_outcome
Utf8
human_handoff
Boolean
Explorar contratos de eventos

2. SQL de solo lectura

¿Qué flujos de trabajo de agentes finalizan exitosamente y producen resultados aceptados?

SELECT
  workflow,
  model,
  COUNT(*) AS runs,
  100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
  100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
    / NULLIF(SUM(CASE
      WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
    END), 0) AS reviewed_acceptance_rate_pct,
  100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
  AVG(duration_ms) AS average_duration_ms,
  SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;

3. Resultado sintético

La revisión de reembolso se completa técnicamente, pero necesita mucha más revisión o control humano que los otros flujos de trabajo.

flujo de trabajomodelruns
support_triageconfigured-model-a1840
refund_reviewconfigured-model-b620
knowledge_draftconfigured-model-a940
Inspeccionar consultas, resultados y advertencias

Capacidades

Que esta incluido

Tablas de eventos con nombre para ejecuciones de agentes, solicitudes de modelos, llamadas de herramientas, evaluaciones y resultados de productos
Campos estables de ejecución, operación, seguimiento, cuenta, versión de solicitud, versión de evaluador y versión
DataFusion SQL para tasa de éxito, duración de p95, costo por resultado aceptado, bucles de herramientas y regresiones de calidad
Paneles de control y alertas de umbral creados a partir de las mismas consultas revisadas
Guías de integración para marcos de agentes, proveedores de modelos, OpenTelemetry y herramientas MCP

Documentación

Evaluar agentes de IA con SQLEventos de resultados de GenAI con OpenTelemetryImplementación de costo de solicitud OpenAIIntegración de agentes OpenAI

Rutas de configuración específicas del agente

Comience con el agente de programación que ya está en su flujo de trabajo

Comience con el guía de habilidades de telemetría del agente.md, luego lleve los mismos límites de telemetría revisados a una ruta de implementación enfocada Claude Code, Cursor o Codex.

Observabilidad Claude Code

Proporcione a Claude Code un mensaje que haga que la telemetría forme parte del paso de implementación en lugar de un proyecto de limpieza separado.

Abrir guía de configuración

Configuración de Cursor Telemetry

Un mensaje de configuración copiable para agregar tablas de eventos, seguimiento de embudos y paneles desde Cursor.

Abrir guía de configuración

Aviso de instrumentación Codex

Un mensaje enfocado que solicita a Codex que instrumente el resto del producto, verifique eventos y resuma las brechas de cobertura.

Abrir guía de configuración

Ver el análisis

Recetas SQL que utilizan esta capacidad

Mida el éxito de las tareas de los agentes de IA y la transferencia humana

Compare el éxito de las tareas de los agentes, la aceptación de los revisores, el costo, la latencia y la tasa de transferencia humana por flujo de trabajo y modelo.

Receta abierta

Reconstruir una línea de tiempo de flujo de trabajo correlacionado

Reconstruya los pasos ordenados del flujo de trabajo entre servicios y el tiempo transcurrido a partir de un identificador de flujo de trabajo compartido.

Receta abierta

Detectar bucles repetidos de herramientas de agentes de IA

Encuentre ejecuciones de agentes que llamen repetidamente a un pequeño conjunto de herramientas sin alcanzar un resultado exitoso.

Receta abierta

Medir las producciones de IA aceptadas por dólar

Conecte el gasto modelo con resultados de productos aceptados, ahorrados o útiles.

Receta abierta

Calcular el costo de LLM por característica y modelo

Atribuya el gasto del modelo, los tokens, el volumen de solicitudes y el costo por solicitud a las características del producto.

Receta abierta

Consultar eventos de llamadas de herramientas de IA anidadas

Filtre campos anidados con puntos y clasifique las herramientas que fallan sin aplanar la carga útil del evento original.

Receta abierta

Casos de clientes

Cómo utilizan los equipos este flujo de trabajo

“Telemetry es mi opción para volcar registros y rastrear eventos. Es sencillo, el banco de trabajo SQL es rápido y no tengo que preocuparme por el esquema por adelantado. Ejecutar SQL a través de una API REST me permite recuperar datos y volcar informes directamente a Slack. Es lo esencial de lo que Sentry hizo por mí.”

Prem Viswanathan, SwiftCX

Revisar el flujo de trabajo documentado

Capacidades relacionadas

Continuar el flujo de trabajo desde el evento hasta la decisión

Análisis asistido por IA

Convierta una pregunta en lenguaje sencillo en SQL que pueda inspeccionar y mejorar

Explorar capacidad

Ingestión de eventos estructurados

Convierta el comportamiento de la aplicación en tablas de eventos consultables

Explorar capacidad

Banco de trabajo SQL y API de consulta

Haga preguntas detalladas con el mismo SQL que los humanos y agentes pueden inspeccionar

Explorar capacidad

Comience con un flujo de trabajo de producción

Utilice un mensaje enfocado, envíe eventos sintéticos y verifique la primera consulta útil antes de ampliar la cobertura.

Abrir el paquete de instruccionesRevisar la evidencia del cliente