Saltar al contenido
Telemetry
guía de integración

Análisis de procesamiento y retraso del consumidor de Kafka

Supervise los resultados del consumidor de Kafka, el retraso de la partición, la latencia del procesamiento, los reintentos y el manejo de mensajes dudosos con eventos estructurados.

Revisado por el equipo de producto Telemetry en . Contrato de instrumentación, límites de privacidad y guía de implementación. Revisar los estándares y la propiedad

Obtén una clave APIVer fragmento
Útil para
  • Monitoreo del retraso del consumidor
  • Desequilibrio de partición
  • Fiabilidad del procesamiento de mensajes
Evidencia de implementación

Kafka Consumer Lag and Processing Analytics: del límite a la fila verificada

Utilice Kafka Consumer Lag and Processing Analytics en un límite de aplicación controlado, mantenga el contrato de evento pequeño y verifique un resultado conocido antes de crear vistas agregadas.

  1. 1

    Elige el resultado

    Monitoreo del retraso del consumidor

  2. 2

    Definir el contrato

    tema, partición, consumer_group y estado

  3. 3

    Instrumentar el límite

    Emita instantáneas de retraso agregadas por separado de los eventos de finalización por mensaje en un gran volumen.

  4. 4

    Verificar la evidencia

    Exercise a known fixture, then inspect kafka_consumer_snapshot for one correctly typed terminal row.

Antes de empezar

Requisitos previos y límites

  • Un TELEMETRY_API_KEY del lado del servidor
  • Nombres de temas estables y grupos de consumidores
  • Metadatos de compensación y marca de agua alta del cliente Kafka

Configuración de entrega

Instalar e inicializar el lado del servidor

Importe telemetry-sh en código solo de servidor e inicialícelo una vez con Process.env.TELEMETRY_API_KEY. Mantenga las credenciales de ingesta fuera de los paquetes de navegador, las variables de entorno visibles para el cliente, el control de fuente, los registros y los mensajes de excepción.

Instalación de kafka

Instalación npm

bash
npm install telemetry-sh
  1. 1Prepare un cliente de entrega del lado del servidor reutilizable con comportamiento de red limitado.
  2. 2Agregue el evento de resultado en el límite de éxito, error, reintento o tiempo de espera.
  3. 3Envíe accesorios controlados e inspeccione las filas almacenadas antes de habilitar una alerta.

Fragmento

Comience con un evento estructurado

Agregue esta forma donde el flujo de trabajo se completa, falla o se vuelve a intentar. Luego cree el panel a partir de campos reales.

kafka

Evento Kafka Consumer Lag and Processing Analytics

javascript
await telemetry.log("kafka_consumer_snapshot", {
  topic,
  partition,
  consumer_group: groupId,
  offset: Number(currentOffset),
  high_watermark: Number(highWatermark),
  lag: Number(highWatermark - currentOffset),
  status: "healthy",
  consumer_instance: instanceId,
  release: process.env.APP_RELEASE,
});

Contrato de evento

tema, partición, consumer_group y estado

desplazamiento, high_watermark, retraso y duration_ms

intento, error_type, consumer_instance y liberación

Puntos de control de implementación

Punto de control 1

Emita instantáneas de retraso agregadas por separado de los eventos de finalización por mensaje en un gran volumen.

Punto de control 2

No envíe valores de mensajes, claves que contengan datos del cliente ni configuración de autenticación.

Punto de control 3

Preserve el tema y el grupo de consumidores al tiempo que limita los gráficos a nivel de partición a la investigación operativa.

Verificación

Demuestra que el evento llegó

Ejecute esto después de ejercitar casos conocidos de éxito y fracaso. Reemplace el nombre de la tabla alternativa si su contrato de evento final difiere del fragmento.

Verificación kafka

Consulta de verificación Kafka Consumer Lag and Processing Analytics

sql
SELECT *
FROM kafka_consumer_snapshot
ORDER BY timestamp_utc DESC
LIMIT 20;
Confirme una fila terminal por resultado lógico, con el estado esperado, identificadores, unidades y hora UTC.
Inspeccione el esquema inferido y verifique que los reintentos no cambien los tipos de campos ni generen un nuevo ID de evento lógico.
Busque en los campos almacenados credenciales, cargas útiles sin procesar, mensajes, contenido privado y mensajes de error ilimitados.
Realice un tiempo de espera del proveedor, un rechazo de la ingesta y un cierre del proceso antes de considerar el panel como completo.

Referencias de implementación

Revise el contrato del evento, la guía de seguridad de los datos y la documentación primaria previa antes de habilitar una nueva ruta de producción.

Campos de alta cardinalidadActualización de eventos SQLConfiguración del consumidor de Apache Kafka

Límite de producción

Mantenga el evento de resultado pequeño y recuperable

Este patrón proporciona

  • Un resultado limitado y listo para SQL junto al flujo de trabajo ascendente.
  • Campos estables para paneles, alertas y correlación entre eventos.
  • Una ruta basada en dispositivos para validar el comportamiento de éxito, fracaso, reintento y tiempo de espera.

Este patrón no proporciona

  • Un exportador de OTLP, un canal de recopilación automática o un reemplazo para seguimientos detallados y registros de diagnóstico.
  • Entrega exactamente una vez simplemente porque la carga útil contiene un ID de evento.
  • Permiso para recopilar cargas útiles sin procesar del proveedor, contenido de usuario, credenciales o datos regulados.
Entrega e idempotenciaProcesamiento por lotes y apagadoSolucionar problemas de ingestión

Puntos de partida del esquema de eventos

Contratos de eventos para este flujo de trabajo

Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.

Calidad de datos11 campos

telemetry_delivery_observed

Una observación muestreada o agregada por intento de entrega o ventana de entrega.

inspeccionar contrato

Función relacionada del producto

Continúe este flujo de trabajo en Eventos estructurados

Capture nombres de eventos estables, campos escritos y contexto operativo revisado con privacidad.

Explorar Eventos estructuradosRevisar la evidencia del cliente

Recetas SQL relacionadas

Responde la siguiente pregunta con SQL

Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.

Explorar todas las recetas
Calidad de datosPrincipiante

Medir la frescura de la ingestión de eventos

¿Qué fuentes de eventos de producción están obsoletas o retrasadas en este momento?

Receta abierta
Calidad de datosIntermedio

Medir eventos que llegan tarde

¿Qué productores de eventos entregan datos lo suficientemente tarde como para distorsionar el análisis?

Receta abierta
Calidad de datosPrincipiante

Seguimiento de la adopción de la versión del esquema del evento

¿Qué productores siguen emitiendo versiones antiguas de un evento crítico?

Receta abierta
Eventos estructuradosPrincipiante

Detectar latidos de servicio faltantes

¿Qué fuentes de telemetría esperadas han dejado de enviar latidos?

Receta abierta
Eventos estructuradosAvanzado

Detecte picos en la tasa de errores con una línea de base móvil

¿Qué segmentos de tasa de error por hora están muy por encima de su línea de base reciente?

Receta abierta
Calidad de datosPrincipiante

Medir el volumen Telemetry por nombre de evento

¿Qué contratos de eventos generan el mayor volumen de ingesta?

Receta abierta
colecciones completasCalidad de datos SQLEventos estructurados SQL

Explorar por familia de implementación

Comparar patrones de integración relacionados

Integraciones de trabajos en segundo plano y colas TelemetryIntegraciones de bases de datos y sistemas de datos TelemetryIntegraciones de nube e infraestructura Telemetry

Plantillas para combinar con esta integración

Plantilla de plan de seguimiento de eventos

Cree un catálogo de eventos revisable que cubra el grano, la propiedad, los campos, la privacidad, la retención, la validación y las dependencias de SQL posteriores.

Abrir plantilla

Más integraciones

Redis y nodo-redis Telemetry

Mida los resultados de los comandos de Redis, la latencia, el comportamiento de la caché, las reconexiones y las categorías de errores delimitadas junto con node-redis.

abrir guia

Flujo de trabajo n8n Telemetry

Envíe los resultados de finalización, error, reintento, recuento de elementos y entrega posterior del flujo de trabajo n8n a un evento Telemetry limitado a través del nodo de solicitud HTTP.

abrir guia

Monitoreo de eventos estructurados de AWS Lambda

Realice un seguimiento de las invocaciones de Lambda, los arranques en frío, la duración, los reintentos y los resultados comerciales con eventos estructurados compactos.

abrir guia