Saltar al contenido
Telemetry
guía de integración

Amazon Bedrock Modelo Telemetry

Mida las solicitudes de Bedrock Converse por modelo o perfil de inferencia, uso de token, latencia, motivo de detención, reintentos y resultado comercial.

Revisado por el equipo de producto Telemetry en . Contrato de instrumentación, límites de privacidad y guía de implementación. Revisar los estándares y la propiedad

Obtén una clave APIVer fragmento
Útil para
  • Atribución de costos del modelo Bedrock
  • Fiabilidad de la inferencia entre regiones
  • Monitoreo del flujo de trabajo de conversación y uso de herramientas
Evidencia de implementación

Amazon Bedrock Model Telemetry: del límite a la fila verificada

Utilice Amazon Bedrock Model Telemetry en un límite de aplicación controlado, mantenga el contrato de evento pequeño y verifique un resultado conocido antes de crear vistas agregadas.

  1. 1

    Elige el resultado

    Atribución de costos del modelo Bedrock

  2. 2

    Definir el contrato

    proveedor, model_id, inference_profile, región, función y estado

  3. 3

    Instrumentar el límite

    Registre el modelo real o el identificador del perfil de inferencia porque la ruta y el precio pueden diferir.

  4. 4

    Verificar la evidencia

    Exercise a known fixture, then inspect llm_request_completed for one correctly typed terminal row.

Antes de empezar

Requisitos previos y límites

  • Credenciales de AWS con el permiso mínimo del modelo Bedrock
  • Un TELEMETRY_API_KEY del lado del servidor
  • Dimensiones aprobadas de modelo, región, característica y versión de solicitud

Configuración de entrega

Instalar e inicializar el lado del servidor

Importe telemetry-sh en código solo de servidor e inicialícelo una vez con Process.env.TELEMETRY_API_KEY. Mantenga las credenciales de ingesta fuera de los paquetes de navegador, las variables de entorno visibles para el cliente, el control de fuente, los registros y los mensajes de excepción.

Instalación de aws-bedrock

Instalación npm

bash
npm install telemetry-sh
  1. 1Prepare un cliente de entrega del lado del servidor reutilizable con comportamiento de red limitado.
  2. 2Agregue el evento de resultado en el límite de éxito, error, reintento o tiempo de espera.
  3. 3Envíe accesorios controlados e inspeccione las filas almacenadas antes de habilitar una alerta.

Fragmento

Comience con un evento estructurado

Agregue esta forma donde el flujo de trabajo se completa, falla o se vuelve a intentar. Luego cree el panel a partir de campos reales.

aws-bedrock

Evento Amazon Bedrock Model Telemetry

javascript
import {
  BedrockRuntimeClient,
  ConverseCommand,
} from "@aws-sdk/client-bedrock-runtime";
import telemetry from "telemetry-sh";

const bedrock = new BedrockRuntimeClient({ region: process.env.AWS_REGION });
const startedAt = performance.now();
const modelId = process.env.BEDROCK_MODEL_ID;

try {
  const response = await bedrock.send(new ConverseCommand({
    modelId,
    messages,
  }));

  await telemetry.log("llm_request_completed", {
    provider: "aws_bedrock",
    model: modelId,
    region: process.env.AWS_REGION,
    feature: "research_assistant",
    status: "success",
    latency_ms: Math.round(performance.now() - startedAt),
    input_tokens: response.usage?.inputTokens,
    output_tokens: response.usage?.outputTokens,
    total_tokens: response.usage?.totalTokens,
    finish_reason: response.stopReason,
  });

  return response;
} catch (error) {
  await telemetry.log("llm_request_completed", {
    provider: "aws_bedrock",
    model: modelId,
    region: process.env.AWS_REGION,
    feature: "research_assistant",
    status: "failed",
    latency_ms: Math.round(performance.now() - startedAt),
    error_type: classifyProviderError(error),
  });
  throw error;
}

Contrato de evento

proveedor, model_id, inference_profile, región, función y estado

input_tokens, output_tokens, latency_ms, stop_reason y estimated_cost_usd

intento, tool_count, error_type y resultado comercial revisado

Puntos de control de implementación

Punto de control 1

Registre el modelo real o el identificador del perfil de inferencia porque la ruta y el precio pueden diferir.

Punto de control 2

Utilice el uso de respuestas de Bedrock en lugar de estimar tokens a partir de la longitud del texto.

Punto de control 3

Mantenga el contenido del mensaje, los argumentos de las herramientas, las credenciales y las respuestas del modelo sin procesar fuera de la telemetría general.

Verificación

Demuestra que el evento llegó

Ejecute esto después de ejercitar casos conocidos de éxito y fracaso. Reemplace el nombre de la tabla alternativa si su contrato de evento final difiere del fragmento.

Verificación aws-bedrock

Consulta de verificación Amazon Bedrock Model Telemetry

sql
SELECT *
FROM llm_request_completed
ORDER BY timestamp_utc DESC
LIMIT 20;
Confirme una fila terminal por resultado lógico, con el estado esperado, identificadores, unidades y hora UTC.
Inspeccione el esquema inferido y verifique que los reintentos no cambien los tipos de campos ni generen un nuevo ID de evento lógico.
Busque en los campos almacenados credenciales, cargas útiles sin procesar, mensajes, contenido privado y mensajes de error ilimitados.
Realice un tiempo de espera del proveedor, un rechazo de la ingesta y un cierre del proceso antes de considerar el panel como completo.

Referencias de implementación

Revise el contrato del evento, la guía de seguridad de los datos y la documentación primaria previa antes de habilitar una nueva ruta de producción.

Costo de LLM SQLSQL de tiempo hasta el primer token de IACaso de uso de observabilidad del agenteAPI de Converse de BedrockAPI de inferencia de Bedrock

Límite de producción

Mantenga el evento de resultado pequeño y recuperable

Este patrón proporciona

  • Un resultado limitado y listo para SQL junto al flujo de trabajo ascendente.
  • Campos estables para paneles, alertas y correlación entre eventos.
  • Una ruta basada en dispositivos para validar el comportamiento de éxito, fracaso, reintento y tiempo de espera.

Este patrón no proporciona

  • Un exportador de OTLP, un canal de recopilación automática o un reemplazo para seguimientos detallados y registros de diagnóstico.
  • Entrega exactamente una vez simplemente porque la carga útil contiene un ID de evento.
  • Permiso para recopilar cargas útiles sin procesar del proveedor, contenido de usuario, credenciales o datos regulados.
Entrega e idempotenciaProcesamiento por lotes y apagadoSolucionar problemas de ingestión

Puntos de partida del esquema de eventos

Contratos de eventos para este flujo de trabajo

Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.

Operaciones de IA10 campos

llm_request_completed

Una solicitud de proveedor de modelo completa.

inspeccionar contrato
Operaciones de agentes de IA10 campos

ai_agent_run_completed

Un resultado de terminal por ejecución de agente lógico.

inspeccionar contrato

Función relacionada del producto

Continúe este flujo de trabajo en Monitoreo de agentes de IA

Conecte las ejecuciones de agentes, el uso de herramientas, el costo del modelo, la calidad y los resultados del producto con SQL revisable.

Explorar Monitoreo de agentes de IARevisar la evidencia del cliente

Recetas SQL relacionadas

Responde la siguiente pregunta con SQL

Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.

Explorar todas las recetas
IA y LLMPrincipiante

Calcular el costo de LLM por característica y modelo

¿Qué características y modelos de productos impulsan el gasto en LLM?

Receta abierta
IA y LLMIntermedio

Medir el tiempo de LLM hasta el primer token

¿Qué combinaciones de modelos y características se sienten lentas antes de que comience la producción?

Receta abierta
IA y LLMIntermedio

Medir el ahorro de caché de LLM y el costo de reintento

¿Cuánto costo del modelo está asociado con los reintentos y los errores de caché?

Receta abierta
IA y LLMIntermedio

Mida el éxito de las tareas de los agentes de IA y la transferencia humana

¿Qué flujos de trabajo de agentes finalizan exitosamente y producen resultados aceptados?

Receta abierta
colecciones completasIA y LLM SQL

Explorar por familia de implementación

Comparar patrones de integración relacionados

Integraciones de agente de IA y LLM TelemetryIntegraciones de nube e infraestructura Telemetry

Plantillas para combinar con esta integración

Rastreador de costos de LLM

Mida el gasto del modelo, el uso de tokens, la latencia, la tasa de fallas y las señales de valor por función, usuario y cuenta.

Abrir plantilla

Plantilla de observabilidad de agentes de IA

Realice un seguimiento de las ejecuciones de agentes, llamadas de herramientas, reintentos, latencia de modelos, errores y resultados aceptados con eventos estructurados listos para SQL.

Abrir plantilla

Más integraciones

Antrópico Claude API Telemetry

Realice un seguimiento del uso del token de Claude API, el modelo, la latencia, el motivo de la detención, los errores, el contexto de costos y los resultados de los productos revisados sin almacenar mensajes.

abrir guia

OpenAI Agente Telemetry

Registre las ejecuciones del agente OpenAI, las llamadas a herramientas, el uso del modelo, la latencia, el costo y los resultados finales con eventos estructurados.

abrir guia

API de respuestas OpenAI Telemetry

Mida la latencia de la API de OpenAI Responses, el uso de tokens, la actividad de las herramientas, las fallas y los resultados posteriores sin recopilar indicaciones ni contenido generado.

abrir guia