本文へ移動
Telemetry
データ品質 SQL レシピ

遅れて到着するイベントを測定する

ソースごとにイベント配信遅延を測定し、古いデータまたは順序が正しくないデータを送信するプロデューサーを特定します。

中級者ingestion_eventsレビュー済み 2026-07-28テスト済み アパッチ DataFusion 45.2.0

レビュー者 Telemetry 製品チーム . SQL の互換性、イベント コントラクト、合成出力、および操作上の注意事項. 基準と所有権を確認する

質問に回答しました

分析を歪めるほど遅くデータを配信するイベント プロデューサーはどれですか?

イベントの鮮度と配信遅延は別の問題です。イベント時間と受信時間を比較すると、ライブ ソースが最近のダッシュボードを書き換える可能性のある古いデータを配信しているかどうかがわかります。

イベント契約

クエリが期待するフィールド

フィールド種類なぜ存在するのか
timestamp_utcTimestamp情報源がイベントが発生したと述べたとき。
received_atTimestampTelemetry がイベントを受信したとき。
sourceUtf8プロデューサーまたは取り込みパス。
event_nameUtf8安定したイベント契約名。
DataFusion SQL

クエリをコピーする

sql
SELECT
  source,
  event_name,
  COUNT(*) AS events,
  AVG(date_part('second', received_at - timestamp_utc)) / 60.0
    AS average_delay_minutes,
  approx_percentile_cont(
    date_part('second', received_at - timestamp_utc) / 60.0,
    0.95
  ) AS p95_delay_minutes,
  SUM(CASE
    WHEN received_at - timestamp_utc > INTERVAL '15 minutes' THEN 1
    ELSE 0
  END) AS events_over_15_minutes
FROM ingestion_events
WHERE received_at >= now() - INTERVAL '24 hours'
  AND received_at >= timestamp_utc
GROUP BY source, event_name
HAVING COUNT(*) >= 20
ORDER BY p95_delay_minutes DESC;

この読み取り専用クエリは、空の型付きテーブルに対して計画され、実行されます。 アパッチ DataFusion 45.2.0。決定論的なサンプル出力は合成され、個別にレビューされます。フィールド タイプ、しきい値、ビジネス定義を独自のデータと照合して検証します。 テスト方法を読んでください。

クエリ結果

p95 イベント配信の遅延

オフライン モバイル同期はライブですが、最近の製品コホートを変更する可能性のある古いイベントが定期的に配信されます。

sourceevent_nameeventsaverage_delay_minutesp95_delay_minutesevents_over_15_minutes
mobile_offline_syncfeature_used4,26018.496.21,088
billing_webhookinvoice_updated1,3801.24.811

合成出力例。運用上の決定に使用する前に、独自のイベント スキーマとしきい値に対してクエリを実行します。

p95 event delivery delay: Measure Late-Arriving Events 結果例からの合成 p95_delay_minutes 値の静的チャート
決定論的な出力例のインデックス可能な SVG。記事、ランブック、または出典を明示した設計レビューのためにダウンロードしてください。

例を再現する

パブリックフィクスチャをダウンロードする

JSON バンドルには、型付きイベント コントラクトが含まれています。 illustrative 入力行、正確な SQL、予想される出力、レビューメモ、およびエンジンのバージョン。 CSV には、表示された結果が含まれます。

SQL の仕組み

  1. 1受信時間は操作ウィンドウを制限しますが、イベント時間は配信された各レコードがどの程度古いかを測定します。
  2. 2平均遅延と p95 遅延は、一般的に遅延するプロデューサーをロングテール問題から分離します。
  3. 3明示的な遅延イベント数により、パーセンタイルのみに依存せずに影響を認識できるようになります。

決定すべきエッジケース

  • クロック スキューにより、負の遅延または誇張された遅延が発生する可能性があります。プロデューサークロックを個別に監視して修正します。
  • オフライン クライアントは遅れてデータを配信することが予想されるため、サーバー イベントとは異なるしきい値が必要になる場合があります。
  • 遅れたイベントが到着したときに、ダッシュボードに最近のバケットを再表示するかどうかを決定します。

推奨されるダッシュボード

  • バー: ソース別 p95_delay_minutes
  • 傾向: 受信時間ごとの遅延イベント数
  • 表: 最新の遅延イベントとソースおよびイベント時刻

アラートガイダンス

文書化された配信目標と意味のある量を持つソースに対してのみアラートを発します。予期されるオフライン同期は通常、ダッシュボードに属します。

アラート設定を読む

レシピを活用する

関連する機器とガイド

分析を続ける

実際のイベントで実行する

テーブルを作成し、フィールドを調整して、結果を保存します

無料で始めて、構造化されたイベントを送信し、クエリ結果をグラフ、共有ダッシュボード ウィジェット、またはアラート入力として使用します。

API キーを取得する