이벤트 계약
쿼리가 예상하는 필드
| 필드 | 유형 | 그것이 존재하는 이유 |
|---|---|---|
| timestamp_utc | Timestamp | 평가 완료 시간(UTC)입니다. |
| pipeline_version | Utf8 | 버전이 지정된 검색기, 인덱스 및 프롬프트 구성입니다. |
| test_case_id | Utf8 | 안정적인 평가 사례 식별자입니다. |
| relevant_document_retrieved | Boolean | 검색 관련성 결과를 검토했습니다. |
| answer_grounded | Boolean | 근거 답변 결과를 검토했습니다. |
| retrieval_latency_ms | Int64 | 검색 단계 대기 시간(밀리초)입니다. |
| cost_usd | Float64 | 버전화된 예상 평가 비용은 USD로 표시됩니다. |
| environment | Utf8 | 평가 또는 프로덕션 환경. |
쿼리 복사
SELECT
pipeline_version,
COUNT(*) AS test_cases,
100.0 * SUM(CASE WHEN relevant_document_retrieved THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS retrieval_relevance_pct,
100.0 * SUM(CASE WHEN answer_grounded THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS grounded_answer_pct,
AVG(retrieval_latency_ms) AS avg_retrieval_latency_ms,
SUM(cost_usd) AS evaluation_cost_usd
FROM rag_evaluation_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
AND environment = 'evaluation'
GROUP BY pipeline_version
ORDER BY grounded_answer_pct DESC, retrieval_relevance_pct DESC, pipeline_version;이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.
쿼리 결과
RAG 검색 및 접지 결과
버전 2는 합성 평가 세트의 검토율을 모두 향상시키는 동시에 비용도 약간 더 듭니다.
| pipeline_version | test_cases | retrieval_relevance_pct | grounded_answer_pct | avg_retrieval_latency_ms | evaluation_cost_usd |
|---|---|---|---|---|---|
| rag-v2 | 4 | 75 | 75 | 95 | 0.05 |
| rag-v1 | 4 | 50 | 50 | 120 | 0.04 |
합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.
예제 재현
공공 픽스처 다운로드
JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. reproducible 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.
SQL 작동 방식
- 1파이프라인 버전은 테스트에 사용되는 검색기, 인덱스 스냅샷, 순위 조정기 및 응답 프롬프트를 식별해야 합니다.
- 2좋은 문서라도 여전히 지원되지 않는 답변을 생성할 수 있으므로 검색 관련성과 답변 기반은 별도로 유지됩니다.
- 3지연 시간과 비용은 프로덕션 제약과 관련된 품질 비교를 유지합니다.
결정해야 할 극단적인 경우
- 파이프라인 전체에서 동일한 버전의 테스트 사례를 사용하고 새로 추가되거나 제거된 사례를 보고하세요.
- 인간 및 모델 기반 채점자는 문서화된 루브릭, 보정 및 불일치 검토가 필요합니다.
- 기본적으로 일반 텔레메트리에는 개인 소스 구절이나 원시 답변을 저장하지 마세요.
추천 대시보드
- 누적 막대: 버전별 retrieval_relevance_pct 및 grounded_answer_pct
- 추세: 테스트 세트 변경에 따른 평가 결과
- 표: 대기 시간, 비용, 테스트 횟수 및 그레이더 버전
레시피를 활용해 보세요
관련 계측 및 가이드
소스 데이터 정의
이 분석을 위한 이벤트 스키마
분석 계속하기
실제 이벤트에서 실행
테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.
무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.