Saltar al contenido
Telemetry
guía de integración

Pub/Sub de Google Cloud Telemetry

Realice un seguimiento de la publicación, entrega, acuse de recibo, reenvío, pedidos, antigüedad de la cola y resultados de mensajes fallidos de Pub/Sub con identificadores de mensajes estables.

Revisado por el equipo de producto Telemetry en . Contrato de instrumentación, límites de privacidad y guía de implementación. Revisar los estándares y la propiedad

Obtén una clave APIVer fragmento
Útil para
  • Fiabilidad de entrega de Pub/Sub
  • Atraso y latencia de suscriptores
  • Monitoreo de mensajes fallidos
Evidencia de implementación

Google Cloud Pub/Sub Telemetry: del límite a la fila verificada

Utilice Google Cloud Pub/Sub Telemetry en un límite de aplicación controlado, mantenga el contrato de evento pequeño y verifique un resultado conocido antes de crear vistas agregadas.

  1. 1

    Elige el resultado

    Fiabilidad de entrega de Pub/Sub

  2. 2

    Definir el contrato

    message_id, message_type, tema, suscripción, ordering_key_category y versión

  3. 3

    Instrumentar el límite

    Pub/Sub puede volver a enviar mensajes; mantenga el ID del mensaje del proveedor y el intento de entrega separados del resultado comercial final.

  4. 4

    Verificar la evidencia

    Exercise a known fixture, then inspect pubsub_message_completed for one correctly typed terminal row.

Antes de empezar

Requisitos previos y límites

  • @google-cloud/pubsub y telemetry-sh inicializados en un editor o suscriptor de confianza
  • Definiciones de tema estable, suscripción, tipo de mensaje y resultado lógico
  • Un consumidor idempotente y un reconocimiento documentado o póliza exactamente una vez

Configuración de entrega

Instalar e inicializar el lado del servidor

Importe telemetry-sh en código solo de servidor e inicialícelo una vez con Process.env.TELEMETRY_API_KEY. Mantenga las credenciales de ingesta fuera de los paquetes de navegador, las variables de entorno visibles para el cliente, el control de fuente, los registros y los mensajes de excepción.

Instalación de google-cloud-pubsub

Instalación npm

bash
npm install telemetry-sh
  1. 1Prepare un cliente de entrega del lado del servidor reutilizable con comportamiento de red limitado.
  2. 2Agregue el evento de resultado en el límite de éxito, error, reintento o tiempo de espera.
  3. 3Envíe accesorios controlados e inspeccione las filas almacenadas antes de habilitar una alerta.

Fragmento

Comience con un evento estructurado

Agregue esta forma donde el flujo de trabajo se completa, falla o se vuelve a intentar. Luego cree el panel a partir de campos reales.

google-cloud-pubsub

Evento Google Cloud Pub/Sub Telemetry

javascript
await telemetry.log("pubsub_message_completed", {
  message_id: message.id,
  message_type: "account_export",
  topic: "account-exports",
  subscription: "account-export-worker",
  status: "success",
  delivery_attempt: message.deliveryAttempt ?? 1,
  wait_ms: Date.now() - Number(message.publishTime.getTime()),
  duration_ms: Math.round(performance.now() - startedAt),
  acknowledged: true,
  dead_lettered: false,
  service: "export-worker",
  release: process.env.APP_RELEASE,
});

Contrato de evento

message_id, message_type, tema, suscripción, ordering_key_category y versión

estado, delivery_attempt, wait_ms, duration_ms, reconocido y error_type

dead_lettered, published_at, account_id, servicio, región y entorno

Puntos de control de implementación

Punto de control 1

Pub/Sub puede volver a enviar mensajes; mantenga el ID del mensaje del proveedor y el intento de entrega separados del resultado comercial final.

Punto de control 2

La entrega exactamente una vez tiene restricciones regionales y de suscripción, por lo que debe verificar la configuración real en lugar de inferirla de una llamada de confirmación.

Punto de control 3

Supervise las métricas de trabajo pendiente del proveedor junto con los resultados de la aplicación y no copie datos de mensajes, atributos con contenido privado o errores sin restricciones en eventos.

Verificación

Demuestra que el evento llegó

Ejecute esto después de ejercitar casos conocidos de éxito y fracaso. Reemplace el nombre de la tabla alternativa si su contrato de evento final difiere del fragmento.

Verificación google-cloud-pubsub

Consulta de verificación Google Cloud Pub/Sub Telemetry

sql
SELECT *
FROM pubsub_message_completed
ORDER BY timestamp_utc DESC
LIMIT 20;
Confirme una fila terminal por resultado lógico, con el estado esperado, identificadores, unidades y hora UTC.
Inspeccione el esquema inferido y verifique que los reintentos no cambien los tipos de campos ni generen un nuevo ID de evento lógico.
Busque en los campos almacenados credenciales, cargas útiles sin procesar, mensajes, contenido privado y mensajes de error ilimitados.
Realice un tiempo de espera del proveedor, un rechazo de la ingesta y un cierre del proceso antes de considerar el panel como completo.

Referencias de implementación

Revise el contrato del evento, la guía de seguridad de los datos y la documentación primaria previa antes de habilitar una nueva ruta de producción.

Monitoreo de trabajos en segundo planoCola de espera SQLSQL de crecimiento de letras muertasEntrega de Pub/Sub exactamente una vezTemas de mensajes fallidos de Pub/SubMonitoreo de pub/sub

Límite de producción

Mantenga el evento de resultado pequeño y recuperable

Este patrón proporciona

  • Un resultado limitado y listo para SQL junto al flujo de trabajo ascendente.
  • Campos estables para paneles, alertas y correlación entre eventos.
  • Una ruta basada en dispositivos para validar el comportamiento de éxito, fracaso, reintento y tiempo de espera.

Este patrón no proporciona

  • Un exportador de OTLP, un canal de recopilación automática o un reemplazo para seguimientos detallados y registros de diagnóstico.
  • Entrega exactamente una vez simplemente porque la carga útil contiene un ID de evento.
  • Permiso para recopilar cargas útiles sin procesar del proveedor, contenido de usuario, credenciales o datos regulados.
Entrega e idempotenciaProcesamiento por lotes y apagadoSolucionar problemas de ingestión

Puntos de partida del esquema de eventos

Contratos de eventos para este flujo de trabajo

Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.

Fiabilidad asíncrona11 campos

background_job_completed

Un resultado terminal por trabajo lógico.

inspeccionar contrato

Función relacionada del producto

Continúe este flujo de trabajo en Alertas

Promueva la consulta de confiabilidad revisada a un umbral propio y un flujo de trabajo de respuesta.

Explorar AlertasRevisar la evidencia del cliente

Recetas SQL relacionadas

Responde la siguiente pregunta con SQL

Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.

Explorar todas las recetas
Tareas en segundo planoPrincipiante

Medir el tiempo de espera de la cola por trabajo

¿Qué trabajos esperan más tiempo antes de que un trabajador los inicie?

Receta abierta
Tareas en segundo planoPrincipiante

Medir el reintento del trabajo en segundo plano y la tasa de fallas

¿Qué trabajos en segundo plano consumen más reintentos o aún fallan?

Receta abierta
Tareas en segundo planoIntermedio

Medir el crecimiento de la cola de mensajes fallidos

¿Qué colas agregan trabajos fallidos más rápido de lo que los resuelven?

Receta abierta
Calidad de datosIntermedio

Medir eventos que llegan tarde

¿Qué productores de eventos entregan datos lo suficientemente tarde como para distorsionar el análisis?

Receta abierta
colecciones completasTareas en segundo plano SQLCalidad de datos SQL

Explorar por familia de implementación

Comparar patrones de integración relacionados

Integraciones Node.js y TypeScript TelemetryIntegraciones de trabajos en segundo plano y colas TelemetryIntegraciones de nube e infraestructura Telemetry

Plantillas para combinar con esta integración

Monitor de fallas en el trabajo en segundo plano

Capture el estado de los trabajos de cola, cron, importación, sincronización de facturación y webhook desde la primera ejecución hasta los reintentos y fallas.

Abrir plantilla

Plantilla de plan de seguimiento de eventos

Cree un catálogo de eventos revisable que cubra el grano, la propiedad, los campos, la privacidad, la retención, la validación y las dependencias de SQL posteriores.

Abrir plantilla

Más integraciones

Monitoreo de cola BullMQ

Mida la espera de la cola de BullMQ, la duración de la ejecución, los reintentos, los fallos y el crecimiento de los mensajes no entregados con eventos del ciclo de vida preparados para SQL.

abrir guia

Cola RabbitMQ Telemetry

Realice un seguimiento de la confirmación de publicación, entrega, acuse de recibo, reenvío, espera en cola, reintentos y resultados de mensajes fallidos de RabbitMQ con eventos estructurados.

abrir guia

Bus de servicio de Azure Telemetry

Realice un seguimiento de los envíos, recepciones, renovación de bloqueos, liquidación, reenvío, aplazamiento y resultados de mensajes fallidos de Azure Service Bus sin recopilar cuerpos de mensajes.

abrir guia