이벤트 계약
쿼리가 예상하는 필드
| 필드 | 유형 | 그것이 존재하는 이유 |
|---|---|---|
| timestamp_utc | Timestamp | 평가 완료 시간(UTC)입니다. |
| workflow_name | Utf8 | 제한된 AI 워크플로 이름입니다. |
| prompt_version | Utf8 | 프롬프트 또는 정책 버전을 검토했습니다. |
| model_name | Utf8 | 제한된 모델 이름. |
| quality_score | Float64 | 문서화된 평가자의 정규화된 점수입니다. |
| quality_passed | Boolean | 실행이 검토된 품질 임계값을 통과했는지 여부입니다. |
| accepted_without_edit | Boolean | 사용자가 편집 없이 출력을 수락했는지 여부입니다. |
| human_handoff | Boolean | 워크플로가 개인에게 에스컬레이션되었는지 여부입니다. |
| cost_usd | Float64 | 실행에 대한 정규화된 모델 비용입니다. |
| environment | Utf8 | 배포 환경. |
DataFusion SQL
쿼리 복사
sql
SELECT
workflow_name,
prompt_version,
COUNT(*) AS evaluated_runs,
100.0 * SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS quality_pass_rate_pct,
100.0 * SUM(CASE WHEN accepted_without_edit THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS handoff_rate_pct,
AVG(quality_score) AS average_quality_score,
SUM(cost_usd) / NULLIF(
SUM(CASE WHEN quality_passed THEN 1 ELSE 0 END),
0
) AS cost_per_quality_pass_usd
FROM ai_quality_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
AND environment = 'production'
GROUP BY workflow_name, prompt_version
ORDER BY workflow_name, prompt_version;이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.
쿼리 결과
프롬프트 버전별 AI 품질
버전 4는 관찰된 핸드오프 없이 더 높은 품질 통과 및 승인률을 제공합니다.
support-v3
60%
comparison 40%
support-v4
80%
comparison 0%
| workflow_name | prompt_version | evaluated_runs | quality_pass_rate_pct | acceptance_rate_pct | handoff_rate_pct | average_quality_score | cost_per_quality_pass_usd |
|---|---|---|---|---|---|---|---|
| support_reply | support-v3 | 5 | 60 | 60 | 40 | 0.69 | 0.03 |
| support_reply | support-v4 | 5 | 80 | 80 | 0 | 0.83 | 0.03 |
합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.
예제 재현
공공 픽스처 다운로드
JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. reproducible 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.
SQL 작동 방식
- 1프롬프트 버전은 명시적인 이벤트 필드이므로 롤아웃 비교를 재현할 수 있습니다.
- 2품질 합격, 제품 승인, 핸드오프 비율은 유용성의 다양한 측면을 보여줍니다.
- 3비용은 원시 실행이 아닌 성공적인 품질 결과로 나누어지므로 값싼 실패가 효율적으로 보이지 않습니다.
결정해야 할 극단적인 경우
- 비교된 버전 전체에서 평가자 정의 및 임계값을 안정적으로 유지합니다.
- 오프라인 평가자 점수를 실제 사용자 승인과 분리하여 둘 중 하나를 근거로 간주합니다.
- 프롬프트 버전이 실질적으로 다른 트래픽을 수신하는 경우 작업 난이도 또는 고객 집단별로 분류합니다.
추천 대시보드
- 바: prompt_version의 품질 및 합격률
- 추세: 출시 주석이 포함된 핸드오프 비율
- 표: 평가된 실행 및 품질 통과당 비용
레시피를 활용해 보세요
관련 계측 및 가이드
분석 계속하기
실제 이벤트에서 실행
테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.
무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.