Saltar al contenido
Telemetry
Ejemplo de panel

Uso de LLM y economía unitaria panel

Conecte llamadas de modelos a cuentas y flujos de trabajo de productos para que el volumen de tokens, la latencia, las fallas y los costos se puedan revisar juntos.

Revisado por el equipo de producto Telemetry en . Decisión, grano de evento, métricas, DataFusion SQL, resultado sintético, suposiciones, actualidad y límite de interpretación. Revisar los estándares y la propiedad

Grano en hilera

Solicitud de modelo-proveedor de una terminal antes de agrupar por modelo.

Decisión apoyada

Elija un flujo de trabajo para preservar la calidad del modelo, caché, reintento o revisión rápida de la eficiencia.

Contrato métrico

Pon el denominador y las unidades al lado del gráfico.

Adapte estas denominaciones a su contrato conservando el grano declarado. Inspeccione el esquema de eventos vinculados antes de asignar campos de los productores de producción.

  • Solicitudes
  • Tokens de entrada y salida
  • Costo estimado
  • Costo por solicitud exitosa
Inspeccionar el esquema del evento.
SQL completo DataFusion

Revisar la consulta antes de adaptar los campos.

Esta consulta pública es una definición inicial. Agregue un filtro de tiempo limitado, una política de segmento completo, un entorno y un volumen mínimo apropiados para su contrato de evento de producción.

SELECT
  model,
  COUNT(*) AS requests,
  SUM(input_tokens) AS input_tokens,
  SUM(output_tokens) AS output_tokens,
  ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
  ROUND(
    SUM(cost_usd)
    / NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
    4
  ) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;
Suposiciones de datos

Pruébelos antes de publicar el resultado.

  • El uso y el estado del token son definitivos en el límite de respuesta del proveedor.
  • El costo a nivel de evento utiliza una asignación de precios versionada.
  • La factura del proveedor sigue siendo la fuente financiera de la verdad.
Revisión de consultas

Comprobaciones que mantienen el panel confiable

  • Agregue campos de flujo de trabajo y cuenta al asignar gastos de modelos compartidos.
  • Concilie las estimaciones agregadas con la factura para el mismo período completo.
  • Compare el costo con la calidad y el éxito; Un menor costo por sí solo no es un resultado.

Límite de interpretación

Lo que este resultado no puede probar por sí solo

Utilice la factura del proveedor como fuente financiera de verdad. El costo a nivel de evento es una estimación de asignación a menos que se concilie con la facturación.

Ejemplos de paneles relacionados

Validar la definición con datos conocidos.

Ejecute un dispositivo con casos conocidos de éxito, error, faltantes, duplicados y límites antes de conectar la consulta a un panel de producción o alerta.