LLM cost tracker: implementación a decisión
Trate el mensaje como un resumen de implementación. El artefacto útil no es sólo el código copiado, sino un contrato de evento revisado que produce una respuesta confiable.
- 1
Establecer el límite
Instrument the point where llm_request_completed becomes final.
- 2
crear el contrato
Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.
- 3
ejecutar un dispositivo
Pruebe casos conocidos de éxito, fracaso, reintento y resultados vacíos antes de confiar en resultados agregados.
- 4
Responde la pregunta
¿Qué funciones cuestan más por cuenta retenida?
Plantilla versus caso de uso
Usa esta plantilla para añadir eventos
Copie esta plantilla cuando el objetivo de medición ya esté claro. Utilice la guía de casos de uso correspondientes para revisar los límites de los eventos, las definiciones de éxito y las decisiones que debe admitir el SQL resultante.
Plantilla
Pega esto en tu agente de codificación
Reemplazar YOUR_API_KEY, ejecute el flujo localmente y luego verifique los eventos y paneles generados.
Rastreador de costos de LLM
Uso y costo del instrumento LLM con Telemetry.
Utilice /skill.md y esta clave API Telemetry: YOUR_API_KEY
Registre cada solicitud de modelo con:
provider, model, route, feature, user_id, team_id, input_tokens, output_tokens, total_tokens, estimated_cost_usd, latency_ms, status, retry_count y error_type.
Conecte eventos de resultados como copied, saved, accepted, retried, regenerated o discarded.
Cree paneles para el gasto diario, costo por función, costo por cuenta, fallas por modelo, latencia p95 y tasa de salida aceptada.
No almacene indicaciones sin procesar ni finalizaciones de forma predeterminada.Eventos para capturar
Lista de verificación de verificación
Lo que deja un pase completo de instrumentación
Eventos
Los eventos sintéticos llegan a la tabla deseada con nombres y tipos de campos estables.
Consultas
Las primeras consultas SQL devuelven filas plausibles con una ventana de tiempo explícita.
Vistas
Un panel utiliza los campos reales e incluye suficiente contexto para explicar un cambio.
Seguridad
Se verificaron las indicaciones, cuerpos, credenciales, firmas y contenido privado para su redacción.
Ejemplos de esquemas de eventos
Esquemas de eventos para este flujo de trabajo
Revise el detalle de la fila, el límite de emisión, los tipos requeridos, las clases de privacidad, la carga útil de ejemplo y la lista de verificación de validación antes de adaptar una consulta o fragmento a producción.
Función relacionada del producto
Continúe este flujo de trabajo en Monitoreo de agentes de IA
Conecte las ejecuciones de agentes, el uso de herramientas, el costo del modelo, la calidad y los resultados del producto con SQL revisable.
Recetas SQL relacionadas
Más ejemplos de SQL
Ejecute la consulta en los campos estructurados de este flujo de trabajo, inspeccione el resultado del ejemplo y convierta una respuesta útil en un panel o alerta.
Calcular el costo de LLM por característica y modelo
¿Qué características y modelos de productos impulsan el gasto en LLM?
Receta abiertaMedir las producciones de IA aceptadas por dólar
¿Qué combinación de modelo y características produce los resultados por dólar más aceptados?
Receta abiertaMedir el ahorro de caché de LLM y el costo de reintento
¿Cuánto costo del modelo está asociado con los reintentos y los errores de caché?
Receta abiertaMedir el tiempo de LLM hasta el primer token
¿Qué combinaciones de modelos y características se sienten lentas antes de que comience la producción?
Receta abiertaMás plantillas