이벤트 계약
쿼리가 예상하는 필드
| 필드 | 유형 | 그것이 존재하는 이유 |
|---|---|---|
| timestamp_utc | Timestamp | 워크플로 결과가 기록된 시기입니다. |
| feature | Utf8 | 안정적인 제품 기능. |
| model | Utf8 | 공급자 모델 식별자입니다. |
| accepted | Boolean | 사용자가 결과를 수락했는지 또는 저장했는지 여부입니다. |
| estimated_cost_usd | Float64 | 모델 요청 비용. |
DataFusion SQL
쿼리 복사
sql
SELECT
feature,
model,
COUNT(*) AS completed_outputs,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
SUM(estimated_cost_usd) AS cost_usd,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.
쿼리 결과
달러당 허용되는 출력
가장 큰 모델은 승인률에서는 승리하지만 비용 조정 처리량에서는 손실됩니다.
support_draft
49.33 / USD
document_summary
17.83 / USD
research_report
2.16 / USD
| feature | model | completed_outputs | accepted_outputs | acceptance_rate_pct | cost_usd | accepted_outputs_per_dollar |
|---|---|---|---|---|---|---|
| support_draft | fast-small | 4,200 | 3,108 | 74 | 63 | 49.33 |
| document_summary | balanced-medium | 1,700 | 1,394 | 82 | 78.2 | 17.83 |
| research_report | reasoning-large | 510 | 464 | 90.98 | 215 | 2.16 |
합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.
예제 재현
공공 픽스처 다운로드
JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.
SQL 작동 방식
- 1합격률은 완료된 출력 중 품질만을 측정합니다. 달러당 허용되는 출력은 경제적 효율성을 추가합니다.
- 2최소 샘플 임계값은 소수의 요청에서 승자를 선언하는 것을 방지합니다.
- 3승인은 가정된 모델 품질 라벨이 아닌 저장, 전송, 적용 또는 복사와 같은 실제 제품 동작을 통해 정의되어야 합니다.
결정해야 할 극단적인 경우
- 폐기된 출력은 이후 작업에 대한 정보를 제공하는 경우 여전히 유용할 수 있습니다. 제품 컨텍스트를 통해 결과 신호를 선택합니다.
- 작업 흐름의 어려움으로 인해 수용 여부가 달라지므로 동일한 기능 내에서 모델을 비교하십시오.
- 작은 차이로 인해 비용이 많이 드는 모델 마이그레이션을 수행하기 전에 신뢰 구간을 사용하십시오.
추천 대시보드
- 막대 차트: 기능 및 모델별 accepted_outputs_per_dollar
- 꺾은선형 차트: 시간 경과에 따른 acceptance_rate_pct
- 표: 모델 실험의 비용, 대기 시간 및 결과
레시피를 활용해 보세요
관련 계측 및 가이드
분석 계속하기
실제 이벤트에서 실행
테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.
무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.