Grano en hilera
Solicitud de modelo-proveedor de una terminal antes de agrupar por modelo.
Decisión apoyada
Elija un flujo de trabajo para preservar la calidad del modelo, caché, reintento o revisión rápida de la eficiencia.
Contrato métrico
Pon el denominador y las unidades al lado del gráfico.
Adapte estas denominaciones a su contrato conservando el grano declarado. Inspeccione el esquema de eventos vinculados antes de asignar campos de los productores de producción.
- Solicitudes
- Tokens de entrada y salida
- Costo estimado
- Costo por solicitud exitosa
porcentaje de costo compartido
Datos de demostración, no un resultado o punto de referencia del cliente
Revisar la consulta antes de adaptar los campos.
Esta consulta pública es una definición inicial. Agregue un filtro de tiempo limitado, una política de segmento completo, un entorno y un volumen mínimo apropiados para su contrato de evento de producción.
SELECT
model,
COUNT(*) AS requests,
SUM(input_tokens) AS input_tokens,
SUM(output_tokens) AS output_tokens,
ROUND(SUM(cost_usd), 4) AS estimated_cost_usd,
ROUND(
SUM(cost_usd)
/ NULLIF(SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END), 0),
4
) AS cost_per_success_usd
FROM llm_requests
GROUP BY model
ORDER BY estimated_cost_usd DESC;Pruébelos antes de publicar el resultado.
- El uso y el estado del token son definitivos en el límite de respuesta del proveedor.
- El costo a nivel de evento utiliza una asignación de precios versionada.
- La factura del proveedor sigue siendo la fuente financiera de la verdad.
Comprobaciones que mantienen el panel confiable
- Agregue campos de flujo de trabajo y cuenta al asignar gastos de modelos compartidos.
- Concilie las estimaciones agregadas con la factura para el mismo período completo.
- Compare el costo con la calidad y el éxito; Un menor costo por sí solo no es un resultado.
Límite de interpretación
Lo que este resultado no puede probar por sí solo
Utilice la factura del proveedor como fuente financiera de verdad. El costo a nivel de evento es una estimación de asignación a menos que se concilie con la facturación.
Ejemplos de paneles relacionados
Descripción general del estado de SaaS
¿La adopción de la cuenta, la confiabilidad de la aplicación o los ingresos representados cambiaron lo suficiente como para requerir una revisión más profunda?
Inspeccionar ejemploConfiabilidad y latencia de API
¿Qué punto final suficientemente ocupado tiene el error más amplio o la regresión de latencia de cola?
Inspeccionar ejemploImpacto del incidente en el cliente
¿Qué cuentas y operaciones estuvieron representadas directamente en una ventana de incidente declarado?
Inspeccionar ejemploValidar la definición con datos conocidos.
Ejecute un dispositivo con casos conocidos de éxito, error, faltantes, duplicados y límites antes de conectar la consulta a un panel de producción o alerta.