콘텐츠로 건너뛰기
Telemetry
AI 및 LLM SQL 레시피

버전별 RAG 검색 품질 평가

RAG 파이프라인 버전 전체에서 관련 문서 검색, 근거 있는 답변, 검색 대기 시간 및 평가 비용을 비교하세요.

중급rag_evaluation_events검토됨 2026-07-28테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

새로운 RAG 파이프라인이 검색 및 근거 있는 답변 비율을 향상시켰습니까?

RAG 품질은 하나의 점수가 아닙니다. 이 쿼리는 버전이 지정된 테스트 세트에 대해 검색 관련성, 답변 기반, 대기 시간 및 평가 비용을 함께 유지하므로 운영상의 장단점을 기준으로 명백한 품질 향상을 검토할 수 있습니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp평가 완료 시간(UTC)입니다.
pipeline_versionUtf8버전이 지정된 검색기, 인덱스 및 프롬프트 구성입니다.
test_case_idUtf8안정적인 평가 사례 식별자입니다.
relevant_document_retrievedBoolean검색 관련성 결과를 검토했습니다.
answer_groundedBoolean근거 답변 결과를 검토했습니다.
retrieval_latency_msInt64검색 단계 대기 시간(밀리초)입니다.
cost_usdFloat64버전화된 예상 평가 비용은 USD로 표시됩니다.
environmentUtf8평가 또는 프로덕션 환경.
DataFusion SQL

쿼리 복사

sql
SELECT
  pipeline_version,
  COUNT(*) AS test_cases,
  100.0 * SUM(CASE WHEN relevant_document_retrieved THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS retrieval_relevance_pct,
  100.0 * SUM(CASE WHEN answer_grounded THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS grounded_answer_pct,
  AVG(retrieval_latency_ms) AS avg_retrieval_latency_ms,
  SUM(cost_usd) AS evaluation_cost_usd
FROM rag_evaluation_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
  AND environment = 'evaluation'
GROUP BY pipeline_version
ORDER BY grounded_answer_pct DESC, retrieval_relevance_pct DESC, pipeline_version;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

RAG 검색 및 접지 결과

버전 2는 합성 평가 세트의 검토율을 모두 향상시키는 동시에 비용도 약간 더 듭니다.

pipeline_versiontest_casesretrieval_relevance_pctgrounded_answer_pctavg_retrieval_latency_msevaluation_cost_usd
rag-v247575950.05
rag-v1450501200.04

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

RAG retrieval and grounding outcomes: Evaluate RAG Retrieval Quality by Version 예제 결과의 합성 retrieval_relevance_pct 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. reproducible 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1파이프라인 버전은 테스트에 사용되는 검색기, 인덱스 스냅샷, 순위 조정기 및 응답 프롬프트를 식별해야 합니다.
  2. 2좋은 문서라도 여전히 지원되지 않는 답변을 생성할 수 있으므로 검색 관련성과 답변 기반은 별도로 유지됩니다.
  3. 3지연 시간과 비용은 프로덕션 제약과 관련된 품질 비교를 유지합니다.

결정해야 할 극단적인 경우

  • 파이프라인 전체에서 동일한 버전의 테스트 사례를 사용하고 새로 추가되거나 제거된 사례를 보고하세요.
  • 인간 및 모델 기반 채점자는 문서화된 루브릭, 보정 및 불일치 검토가 필요합니다.
  • 기본적으로 일반 텔레메트리에는 개인 소스 구절이나 원시 답변을 저장하지 마세요.

추천 대시보드

  • 누적 막대: 버전별 retrieval_relevance_pct 및 grounded_answer_pct
  • 추세: 테스트 세트 변경에 따른 평가 결과
  • 표: 대기 시간, 비용, 테스트 횟수 및 그레이더 버전

알림 안내

프로덕션 페이징 알림 대신 최소 테스트 횟수와 검토된 회귀 허용 오차를 갖춘 평가 릴리스 게이트를 사용하세요.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

소스 데이터 정의

이 분석을 위한 이벤트 스키마

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기