콘텐츠로 건너뛰기
Telemetry
데이터 품질 SQL 레시피

이벤트 수집 신선도 측정

데이터 전달을 중단했거나 발생한 것보다 상당히 늦게 도착하는 이벤트 소스를 찾으십시오.

초보자telemetry_events검토됨 2026-07-27테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

현재 어떤 프로덕션 이벤트 소스가 오래되었거나 지연되고 있나요?

정상적인 대시보드는 오류가 표시되지 않고 오래될 수 있습니다. 이벤트 시간, 수신 시간 및 현재 시계를 비교하면 무음 소스와 지연된 전달이 구분됩니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp프로듀서에서 이벤트가 발생한 시간입니다.
received_atTimestamp수집 서비스가 이벤트를 수락한 시간입니다.
sourceUtf8안정적인 프로듀서 또는 워크플로 이름입니다.
environmentUtf8배포 환경.
DataFusion SQL

쿼리 복사

sql
SELECT
  source,
  MAX(timestamp_utc) AS latest_event_at,
  MAX(received_at) AS latest_received_at,
  date_part('second', now() - MAX(received_at)) / 60.0
    AS minutes_since_receive,
  AVG(date_part('second', received_at - timestamp_utc)) / 60.0
    AS average_delivery_delay_minutes
FROM telemetry_events
WHERE received_at >= now() - INTERVAL '24 hours'
  AND environment = 'production'
GROUP BY source
ORDER BY minutes_since_receive DESC;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

가장 최근에 수신된 이벤트 이후 경과 시간(분)

일반적인 배송 지연 시간이 짧음에도 불구하고 결제 동기화가 오래되었습니다.

sourcelatest_event_atlatest_received_atminutes_since_receiveaverage_delivery_delay_minutes
billing_sync2026-07-27 12:112026-07-27 12:12481.4
api_gateway2026-07-27 12:592026-07-27 12:5910.1
queue_workers2026-07-27 12:582026-07-27 12:5910.8

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

Minutes since the newest received event: Measure Event Ingestion Freshness 예제 결과의 합성 minutes_since_receive 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1MAX(received_at)는 각 소스가 여전히 데이터를 전달하고 있는지 여부를 측정합니다.
  2. 2received_at와 timestamp_utc 간의 평균 차이는 소스 무음과 별도로 전송 지연을 측정합니다.
  3. 3프로덕션 필터는 개발 트래픽이 중지된 프로덕션 소스를 정상으로 보이게 만드는 것을 방지합니다.

결정해야 할 극단적인 경우

  • 하루에 한 번만 내보내는 소스에는 API 소스와 다른 신선도 임계값이 필요합니다.
  • 프로듀서 클럭 왜곡으로 인해 배송 지연이 부정적으로 될 수 있습니다. 시계 동기화를 모니터링하고 수정합니다.
  • 24시간 전환은 해당 기간보다 오랫동안 침묵한 소스를 반환할 수 없습니다. 부재 모니터링을 위해 예상 소스 레지스트리를 유지합니다.

추천 대시보드

  • 막대 차트: 소스별 minutes_since_receive
  • 추세: 소스별 평균 배송 지연
  • 표: 현재 창에서 예상 소스가 누락되었습니다.

알림 안내

minutes_since_receive가 소스 일정과 문서화된 유예 기간을 초과하면 알림합니다.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

소스 데이터 정의

이 분석을 위한 이벤트 스키마

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기