本文へ移動
Telemetry
データ品質 SQL レシピ

イベント取り込みの鮮度を測定する

データの配信を停止したか、発生より大幅に遅れて到着しているイベント ソースを見つけます。

初心者telemetry_eventsレビュー済み 2026-07-27テスト済み アパッチ DataFusion 45.2.0

レビュー者 Telemetry 製品チーム . SQL の互換性、イベント コントラクト、合成出力、および操作上の注意事項. 基準と所有権を確認する

質問に回答しました

現在、どの本番イベント ソースが古いか遅れていますか?

正常なダッシュボードは、エラーが表示されずに古くなってしまう場合があります。イベント時間、受信時間、および現在のクロックを比較することで、サイレント ソースと遅延配信を区別します。

イベント契約

クエリが期待するフィールド

フィールド種類なぜ存在するのか
timestamp_utcTimestampプロデューサーでイベントが発生したとき。
received_atTimestamp取り込みサービスがイベントを受け入れたとき。
sourceUtf8安定したプロデューサーまたはワークフロー名。
environmentUtf8導入環境。
DataFusion SQL

クエリをコピーする

sql
SELECT
  source,
  MAX(timestamp_utc) AS latest_event_at,
  MAX(received_at) AS latest_received_at,
  date_part('second', now() - MAX(received_at)) / 60.0
    AS minutes_since_receive,
  AVG(date_part('second', received_at - timestamp_utc)) / 60.0
    AS average_delivery_delay_minutes
FROM telemetry_events
WHERE received_at >= now() - INTERVAL '24 hours'
  AND environment = 'production'
GROUP BY source
ORDER BY minutes_since_receive DESC;

この読み取り専用クエリは、空の型付きテーブルに対して計画され、実行されます。 アパッチ DataFusion 45.2.0。決定論的なサンプル出力は合成され、個別にレビューされます。フィールド タイプ、しきい値、ビジネス定義を独自のデータと照合して検証します。 テスト方法を読んでください。

クエリ結果

最後にイベントを受信してからの分数

通常の配信遅延は小さいにもかかわらず、請求同期は古くなります。

sourcelatest_event_atlatest_received_atminutes_since_receiveaverage_delivery_delay_minutes
billing_sync2026-07-27 12:112026-07-27 12:12481.4
api_gateway2026-07-27 12:592026-07-27 12:5910.1
queue_workers2026-07-27 12:582026-07-27 12:5910.8

合成出力例。運用上の決定に使用する前に、独自のイベント スキーマとしきい値に対してクエリを実行します。

Minutes since the newest received event: Measure Event Ingestion Freshness 結果例からの合成 minutes_since_receive 値の静的チャート
決定論的な出力例のインデックス可能な SVG。記事、ランブック、または出典を明示した設計レビューのためにダウンロードしてください。

例を再現する

パブリックフィクスチャをダウンロードする

JSON バンドルには、型付きイベント コントラクトが含まれています。 illustrative 入力行、正確な SQL、予想される出力、レビューメモ、およびエンジンのバージョン。 CSV には、表示された結果が含まれます。

SQL の仕組み

  1. 1MAX(received_at) は、各ソースがまだデータを配信しているかどうかを測定します。
  2. 2received_at と timestamp_utc の平均差は、配信遅延をソースの無音とは別に測定します。
  3. 3実稼働フィルターは、開発トラフィックが停止した実稼働ソースを正常に見せないようにするのを防ぎます。

決定すべきエッジケース

  • 1 日に 1 回だけ放出するソースには、API ソースとは異なる鮮度しきい値が必要です。
  • プロデューサーのクロック スキューにより、配信遅延がマイナスになる可能性があります。クロック同期を監視して修正します。
  • 24 時間ルックバックでは、その期間よりも長く沈黙していたソースを返すことはできません。不在監視のために予期されるソース レジストリを保持します。

推奨されるダッシュボード

  • 棒グラフ: ソース別 minutes_since_receive
  • 傾向: ソース別の平均配送遅延
  • 表: 予想されるソースが現在のウィンドウに表示されない

アラートガイダンス

minutes_since_receive がソース スケジュールと文書化された猶予期間を超えた場合にアラートを送信します。

アラート設定を読む

レシピを活用する

関連する機器とガイド

ソースデータを定義する

この分析のイベント スキーマ

分析を続ける

実際のイベントで実行する

テーブルを作成し、フィールドを調整して、結果を保存します

無料で始めて、構造化されたイベントを送信し、クエリ結果をグラフ、共有ダッシュボード ウィジェット、またはアラート入力として使用します。

API キーを取得する