Contrato de evento
Campos que espera la consulta
| Campo | Tipo | Por que existe |
|---|---|---|
| timestamp_utc | Timestamp | Cuándo se registró el resultado del flujo de trabajo. |
| feature | Utf8 | Característica de producto estable. |
| model | Utf8 | Identificador del modelo de proveedor. |
| accepted | Boolean | Si el usuario aceptó o guardó el resultado. |
| estimated_cost_usd | Float64 | Costo de la solicitud del modelo. |
Copiar la consulta
SELECT
feature,
model,
COUNT(*) AS completed_outputs,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
SUM(estimated_cost_usd) AS cost_usd,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;Esta consulta de solo lectura se planifica y ejecuta en una tabla escrita vacía con Apache DataFusion 45.2.0. El resultado de la muestra determinista es sintético y se revisa por separado; valide tipos de campos, umbrales y definiciones comerciales con sus propios datos. Lea la metodología de prueba.
Resultado de la consulta
Productos aceptados por dólar
El modelo más grande gana en tasa de aceptación pero pierde en rendimiento ajustado a costos.
| feature | model | completed_outputs | accepted_outputs | acceptance_rate_pct | cost_usd | accepted_outputs_per_dollar |
|---|---|---|---|---|---|---|
| support_draft | fast-small | 4200 | 3108 | 74 | 63 | 49,33 |
| document_summary | balanced-medium | 1700 | 1394 | 82 | 78,2 | 17,83 |
| research_report | reasoning-large | 510 | 464 | 90,98 | 215 | 2,16 |
Salida de ejemplo sintético. Ejecute la consulta con su propio esquema de eventos y umbrales antes de utilizarla para decisiones operativas.
Reproducir el ejemplo
Descargar el accesorio público
El paquete JSON incluye el contrato de evento escrito, illustrative filas de entrada, SQL exacto, resultado esperado, notas de revisión y versión del motor. El CSV contiene el resultado mostrado.
Cómo funciona el SQL
- 1La tasa de aceptación mide la calidad sólo entre los productos completados. Los productos aceptados por dólar añaden eficiencia económica.
- 2El umbral mínimo de muestra evita declarar un ganador entre un puñado de solicitudes.
- 3La aceptación debe definirse a partir del comportamiento real del producto, como guardarlo, enviarlo, aplicarlo o copiarlo, no una supuesta etiqueta de calidad del modelo.
Casos extremos para decidir
- Un resultado descartado puede seguir siendo útil si sirvió de base para una acción posterior; Elija la señal de resultado con el contexto del producto.
- Compare modelos dentro de la misma función porque la dificultad del flujo de trabajo cambia la aceptación.
- Utilice intervalos de confianza antes de realizar costosas migraciones de modelos a partir de pequeñas diferencias.
Panel recomendado
- Gráfico de barras: accepted_outputs_per_dollar por característica y modelo
- Gráfico de líneas: acceptance_rate_pct a lo largo del tiempo
- Tabla: costo, latencia y resultado de experimentos modelo
Guía de alerta
Alerta sobre caídas bruscas en la tasa de aceptación después de un cambio de modelo, indicación o herramienta; revise la rentabilidad como un panel de control en lugar de una alerta de localización.
Leer configuración de alertaPon la receta a trabajar
Instrumentación y guías relacionadas.
Continuar el análisis
Calcular el costo de LLM por característica y modelo
Atribuya el gasto del modelo, los tokens, el volumen de solicitudes y el costo por solicitud a las características del producto.
Receta abiertaMedir el ahorro de caché de LLM y el costo de reintento
Compare las solicitudes almacenadas en caché, el volumen de reintentos y el gasto estimado por modelo para encontrar costos de IA evitables.
Receta abiertaMedir el tiempo de LLM hasta el primer token
Compare la capacidad de respuesta de la transmisión y la latencia total de generación por modelo y característica.
Receta abiertaEjecútelo en eventos reales.
Crea una tabla, adapta los campos y guarda el resultado.
Comience gratis, envíe eventos estructurados y utilice el resultado de la consulta como un gráfico, un widget de panel compartido o una entrada de alerta.