콘텐츠로 건너뛰기
Telemetry
데이터 품질 SQL 레시피

늦게 도착하는 이벤트 측정

소스별로 이벤트 전달 지연을 측정하고 오래되었거나 순서가 잘못된 데이터를 보내는 프로듀서를 식별합니다.

중급ingestion_events검토됨 2026-07-28테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

분석을 왜곡할 만큼 늦게 데이터를 전달하는 이벤트 프로듀서는 누구입니까?

이벤트 신선도와 전달 지연 시간은 서로 다른 문제입니다. 이벤트 시간과 수신 시간을 비교하면 라이브 소스가 최근 대시보드를 다시 작성할 수 있는 오래된 데이터를 제공하는지 여부가 표시됩니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp소식통이 해당 사건이 발생했다고 말할 때.
received_atTimestampTelemetry가 이벤트를 수신했을 때.
sourceUtf8프로듀서 또는 수집 경로.
event_nameUtf8안정적인 이벤트 계약 이름입니다.
DataFusion SQL

쿼리 복사

sql
SELECT
  source,
  event_name,
  COUNT(*) AS events,
  AVG(date_part('second', received_at - timestamp_utc)) / 60.0
    AS average_delay_minutes,
  approx_percentile_cont(
    date_part('second', received_at - timestamp_utc) / 60.0,
    0.95
  ) AS p95_delay_minutes,
  SUM(CASE
    WHEN received_at - timestamp_utc > INTERVAL '15 minutes' THEN 1
    ELSE 0
  END) AS events_over_15_minutes
FROM ingestion_events
WHERE received_at >= now() - INTERVAL '24 hours'
  AND received_at >= timestamp_utc
GROUP BY source, event_name
HAVING COUNT(*) >= 20
ORDER BY p95_delay_minutes DESC;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

p95 이벤트 전달 지연

오프라인 모바일 동기화는 실시간이지만 최근 제품 집단을 변경할 수 있는 오래된 이벤트를 정기적으로 전달합니다.

sourceevent_nameeventsaverage_delay_minutesp95_delay_minutesevents_over_15_minutes
mobile_offline_syncfeature_used4,26018.496.21,088
billing_webhookinvoice_updated1,3801.24.811

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

p95 event delivery delay: Measure Late-Arriving Events 예제 결과의 합성 p95_delay_minutes 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1수신 시간은 운영 기간을 제한하고, 이벤트 시간은 전달된 각 레코드의 오래된 정도를 측정합니다.
  2. 2평균 및 p95 지연은 일반적으로 지연되는 프로듀서를 롱테일 문제와 분리합니다.
  3. 3명시적인 늦은 이벤트 수를 사용하면 백분위수에만 의존하지 않고도 영향을 쉽게 읽을 수 있습니다.

결정해야 할 극단적인 경우

  • 클록 스큐는 음수 또는 과장된 지연을 생성할 수 있습니다. 프로듀서 시계를 별도로 모니터링하고 수정합니다.
  • 오프라인 클라이언트는 늦은 데이터를 전달해야 하며 서버 이벤트와 다른 임계값이 필요할 수 있습니다.
  • 늦은 이벤트가 도착할 때 대시보드가 ​​최근 버킷을 다시 지정할지 여부를 결정합니다.

추천 대시보드

  • 바: 소스별 p95_delay_minutes
  • 추세: 수신 시간별 지연 이벤트 수
  • 표: 소스 및 이벤트 시간이 포함된 최신 지연 이벤트

알림 안내

문서화된 전달 목표와 의미 있는 볼륨이 있는 소스에 대해서만 알림합니다. 예상되는 오프라인 동기화는 일반적으로 대시보드에 속합니다.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기