本文へ移動
Telemetry
Telemetry SQL クックブック

SQL ログ分析と可観測性レシピ

ログを型付きで構造化されたイベント テーブルとして分析します。質問から始めて、クエリとグラフで終了します。各レシピは、現実的なスキーマとコピー可能な DataFusion SQL、合成結果データ、有用なビジュアライゼーション、パブリック JSON および CSV フィクスチャ、解釈メモ、エッジ ケース、およびダッシュボードまたはアラートの推奨事項を組み合わせています。

このアプローチは初めてですか?読んでください SQL 可観測性とイベント分析ガイド クックブックの背後にあるイベント モデル、アーキテクチャ、クエリ パターン、移行のトレードオフについて。

Planned and executed with Apache DataFusion 45.2.0
視覚的なプレビューを備えたクロール可能な結果テーブル
ダウンロード可能な JSON、CSV、および静的 SVG アセット
マルチテーブル学習用の接続された SaaS データセット
再現可能なフィクスチャ用の読み取り専用ブラウザ プレイグラウンド
運用上のエッジケースとアラートのガイダンス
合成例 - 顧客データなし

81

完全な SQL レシピ

12

運用および製品カテゴリー

1:1

クエリから結果までの視覚化

インタラクティブ SQL ラボ

製品、API、AI、ジョブ、請求、データベースにわたって 1 つのアカウントをフォローします

レシピページでは、一度に 1 つの分析パターンを説明します。 SQL ラボには、バージョン管理された 15 テーブルのデータセットと、現実的な結合、アクティベーション ファネル、LLM ユニット エコノミクス、インシデントの影響、再試行リカバリ、データベースの信頼性に関するガイド付きレッスンが追加されています。

SQL ラボを開始する

再現可能なSQL

構文チェックは自動化されています。解釈は明確なままである

パブリッシュされたすべてのクエリは読み取り専用であり、型指定されたイベント コントラクトが含まれ、適切に計画および実行される必要があります。 アパッチ DataFusion 45.2.0。有効な SQL が間違った質問に回答する可能性があるため、合成結果、ビジネス定義、およびエッジ ケースは個別にレビューされます。

レシピ集

API の信頼性

12 recipes
初心者api_requests

ルート別のAPIエラー率の計算

SQL を使用して、小音量のノイズから結果を保護しながら、API ルートを 5xx エラー率でランク付けします。

SQL と結果を参照してください。
中級者api_requests

p50、p95、p99 API レイテンシの計算

エンドポイントごとの中央値と末尾のレイテンシーを、DataFusion 互換のパーセンタイル SQL と比較します。

SQL と結果を参照してください。
中級者api_requests

API エラーバジェット燃焼率の計算

時間ごとのリクエストの失敗を SLO バーンレート系列に変換し、許容されるエラー バジェットがどのくらいの速さで消費されるかを示します。

SQL と結果を参照してください。
中級者api_requests

リリースごとの API 信頼性の比較

デプロイ後のすべての変更をデプロイに起因させることなく、アプリケーション リリース間でトラフィック、5xx レート、p95 レイテンシを比較します。

SQL と結果を参照してください。
初心者api_requests

顧客の影響によるエラーのフィンガープリントのランク付け

1 つの再試行ループがインシデント ビューを支配するのではなく、正規化されたアプリケーション エラーを発生状況と影響を受けるアカウントごとにランク付けします。

SQL と結果を参照してください。
初心者api_requests

ルートごとの API タイムアウト率の計算

リクエスト量と設定されたタイムアウト境界を維持しながら、タイムアウト率によってルートをランク付けします。

SQL と結果を参照してください。
中級者dependency_calls

依存関係の比較 p95 レイテンシー

リクエストに対するテール レイテンシの最大の原因となっているデータベース、API、キャッシュ、キューを見つけます。

SQL と結果を参照してください。
中級者api_requests

SLO に対する API の可用性の測定

毎日の可用性を計算し、サービスが明示的な目的を達成したかどうかを示します。

SQL と結果を参照してください。
初心者api_throughput_events

ルートごとの API リクエスト スループットの計算

安定した API ルートによって 1 分あたりの観察されたリクエストを計算し、スループット以外のエラー量を維持します。

SQL と結果を参照してください。
中級者api_attempt_events

API 429 レート制限回復の測定

すべての再試行を新しいリクエストとして扱うことなく、レート制限されたリクエストが後の試行で回復する頻度を測定します。

SQL と結果を参照してください。
初心者feature_rollout_events

機能ロールアウトエラー率の比較

1 つのリリースについて、機能フラグのロールアウトと制御コホート間のリクエスト エラーと平均遅延を比較します。

SQL と結果を参照してください。
中級者incident_account_impact_events

インシデントの顧客への影響を計画ごとに測定する

顧客名や生のリクエストデータを公開することなく、影響を受けるアカウントと平均影響期間をプランごとにカウントします。

SQL と結果を参照してください。
初心者job_runs

バックグラウンドジョブの再試行と失敗率を測定する

成功した実行、再試行、失敗、テール期間を比較して、信頼性の低いジョブを見つけます。

SQL と結果を参照してください。
中級者job_events

SQL で停止したバックグラウンド ジョブを見つける

ジョブの開始イベントと終了イベントを結合して、予想される完了ウィンドウを超えた作業を特定します。

SQL と結果を参照してください。
初心者job_runs

ジョブごとのキュー待ち時間の測定

キュー内での待機時間を実行時間から分離し、ジョブ名ごとに p50 と p95 の遅延を比較します。

SQL と結果を参照してください。
中級者job_events

配信不能キューの増加を測定する

デッドレターの作成と解決を比較して、回復不可能な作業が蓄積されているキューを見つけます。

SQL と結果を参照してください。
中級者cron_runs

欠落した Cron スケジュールの検出

連続する cron-run イベントを各スケジュール間隔と比較して、実行の遅延または欠落を見つけます。

SQL と結果を参照してください。
中級者job_attempts

バックグラウンドジョブの再試行ストームを検出する

ジョブの試行が繰り返されることで不均衡なキュー作業と障害が発生するタイム バケットを見つけます。

SQL と結果を参照してください。

レシピ集

Webhook

3 recipes

レシピ集

AIとLLM

8 recipes
初心者llm_request_completed

機能とモデルごとに LLM コストを計算する

モデルの支出、トークン、リクエスト量、リクエストあたりのコストを製品機能に関連付けます。

SQL と結果を参照してください。
中級者llm_requests

1 ドルあたりの受け入れられた AI 出力を測定する

モデルの支出を、受け入れられた、保存された、またはその他の有用な製品の成果に結び付けます。

SQL と結果を参照してください。
中級者llm_requests

LLM キャッシュの節約と再試行コストを測定する

キャッシュされたリクエスト、再試行量、推定費用をモデルごとに比較して、回避可能な AI コストを見つけます。

SQL と結果を参照してください。
中級者llm_requests

最初のトークンまでの LLM 時間を測定する

ストリーミングの応答性と総生成遅延をモデルと機能ごとに比較します。

SQL と結果を参照してください。
中級者agent_tool_calls

繰り返しを検出する AI エージェント ツール Loops

成功した結果に達することなく、小規模なツール セットを繰り返し呼び出すエージェントの実行を見つけます。

SQL と結果を参照してください。
中級者agent_run_outcomes

AI エージェントのタスクの成功と人間による引き継ぎを測定する

エージェントのタスクの成功、レビュー担当者の承認、コスト、待ち時間、人による引き継ぎ率をワークフローとモデルごとに比較します。

SQL と結果を参照してください。
中級者ai_quality_events

プロンプト バージョンごとに AI 品質の低下を見つける

評価された品質、受け入れ、引き継ぎ、コストをプロンプト バージョンごとに比較します。

SQL と結果を参照してください。
中級者rag_evaluation_events

バージョンごとの RAG 取得品質の評価

RAG パイプラインのバージョン全体で、関連ドキュメントの取得、根拠のある回答、取得レイテンシ、評価コストを比較します。

SQL と結果を参照してください。

レシピ集

製品分析

9 recipes
中級者product_events

SQL でサインアップからアクティベーションまでのファネルを構築する

サインアップ、オンボーディング、統合、最初の価値のマイルストーンを通じてユニーク ユーザーのコンバージョンを計算します。

SQL と結果を参照してください。
上級者向けproduct_events

毎週のコホート維持率の計算

最初のアクティビティ週ごとにユーザーをグループ化し、後の週に戻ってくる割合を測定します。

SQL と結果を参照してください。
上級者向けproduct_events

アップグレード前に使用されていた機能を検索する

フィーチャー イベントに参加してイベントをアップグレードし、有料コンバージョンの前に発生する行動をランク付けします。

SQL と結果を参照してください。
上級者向けproduct_events

DAU、WAU、製品の粘着性を計算する

日次および週次のアクティブ ユーザーをまとめて測定し、一貫したアクティビティ定義から DAU から WAU への粘着性を計算します。

SQL と結果を参照してください。
中級者product_events

取得元ごとのファネル コンバージョンの比較

繰り返されるマイルストーン イベントの重複を排除しながら、取得ソースごとにサインアップからアクティベーションまでのコンバージョンを測定します。

SQL と結果を参照してください。
上級者向けproduct_events

アクティベーションまでの時間を測定する

サインアップからユーザーの最初の意味のある製品アクションまでの経過時間の分布を計算します。

SQL と結果を参照してください。
上級者向けproduct_events

コホートごとのチャーンと再活性化の測定

アカウントを、有意義な製品活動を繰り返し行うことにより、保持、解約、または再アクティブ化されたものとして分類します。

SQL と結果を参照してください。
上級者向けexperiment_events

テストのコンバージョンと収益増加の比較

繰り返されるイベントを二重にカウントすることなく、コンバージョン、参加者あたりの収益、実験バリアントごとの相対的な上昇率を測定します。

SQL と結果を参照してください。
中級者product_journey_events

プロダクトジャーニーのドロップオフをセッションごとに測定する

注文した製品の各マイルストーンに到達したセッションの数を測定し、ジャーニーの完了とステップツーステップのコンバージョンの両方を計算します。

SQL と結果を参照してください。

レシピ集

構造化イベント

4 recipes

レシピ集

データ品質

6 recipes
初心者telemetry_events

イベント取り込みの鮮度を測定する

データの配信を停止したか、発生より大幅に遅れて到着しているイベント ソースを見つけます。

SQL と結果を参照してください。
初心者telemetry_events

重複するイベント ID を検索する

複数回配信されたイベント識別子を特定し、重複処理が機能しているかどうかを測定します。

SQL と結果を参照してください。
初心者product_events

必須フィールドのヌル率を測定する

必要なアカウント、ステータス、または相関フィールドが表示されなくなっているイベント コントラクトを検索します。

SQL と結果を参照してください。
中級者ingestion_events

遅れて到着するイベントを測定する

ソースごとにイベント配信遅延を測定し、古いデータまたは順序が正しくないデータを送信するプロデューサーを特定します。

SQL と結果を参照してください。
初心者product_events

イベントスキーマバージョンの導入を追跡する

プロデューサごとにスキーマ バージョンのロールアウトを測定し、デプロイメント後にアクティブなままになっている古いイベント コントラクトを見つけます。

SQL と結果を参照してください。
初心者telemetry_ingestion_events

イベント名によるTelemetryボリュームの測定

保存ポリシーや収集ポリシーを変更する前に、ペイロード バイト、平均イベント サイズ、拒否率に基づいてイベント タイプをランク付けします。

SQL と結果を参照してください。

レシピ集

収益と請求

5 recipes

レシピ集

セキュリティと監査

7 recipes
中級者authentication_events

認証失敗率の分析

トラフィック量と影響を受ける ID を可視化しながら、認証の失敗を方法と理由別に測定します。

SQL と結果を参照してください。
初心者agent_tool_authorization_decisions

AI エージェント ツールの承認決定を監査する

プロンプト、ツールの引数、結果、資格情報を収集せずに、エージェント ツールの許可、拒否、承認が必要な決定をリスク クラスごとに確認します。

SQL と結果を参照してください。
初心者security_audit_events

SQL による特権アクションの監査

生の秘密やリソースの内容を収集せずに、機密の管理アクション、拒否された試行、およびレビューが必要な結果を要約します。

SQL と結果を参照してください。
上級者向けauthentication_events

不審な認証バーストを検出

多くの ID または粗いネットワーク ソースにわたって失敗が繰り返される短い認証ウィンドウを見つけます。

SQL と結果を参照してください。
初心者authorization_events

アクセスポリシーの拒否を分析する

拒否されたアクションをポリシー、リソースクラス、アクターの役割、影響を受けるアイデンティティごとにランク付けします。

SQL と結果を参照してください。
中級者api_key_audit_events

API-Key ライフサイクル イベントを監査する

API キー マテリアルをログに記録せずに、作成、使用、ローテーション、および失効イベントを確認します。

SQL と結果を参照してください。
中級者data_export_audit_events

SQL で機密データのエクスポートを確認する

エクスポートされたコンテンツを保存せずに、エクスポート量、拒否された試行、データ分類、レビュー ステータスを要約します。

SQL と結果を参照してください。

レシピ集

データベースの信頼性

12 recipes
初心者database_query_events

遅いデータベース クエリをフィンガープリントで検出する

生の SQL やパラメーターを保存せずに、正規化されたデータベース操作を低速クエリ レート、平均継続時間、観測された最悪の継続時間によってランク付けします。

SQL と結果を参照してください。
初心者database_pool_samples

データベース接続プールの飽和状態を測定する

平均プール使用率、キューに入れられた取得待機、タイムアウト、およびアプリケーション サービスごとのアイドル容量を測定します。

SQL と結果を参照してください。
中級者database_transaction_events

データベーストランザクションのロールバック率の計算

エラー カテゴリ、期間、影響を受けるアカウントを維持しながら、コミットされたトランザクションとロールバックされたトランザクションをサービスごとに比較します。

SQL と結果を参照してください。
中級者database_lock_wait_events

データベースのロック待機とデッドロックの検索

インシデント数、待機期間、未解決のロック、検出されたデッドロックに基づいて、ブロックされたデータベース操作のフィンガープリントをランク付けします。

SQL と結果を参照してください。
初心者database_replication_samples

データベースのレプリケーションと CDC ラグを測定する

レプリカと変更データ キャプチャ コンシューマを、平均ラグ、最悪のラグ、遅れているバイト数、および古いサンプル レートによって比較します。

SQL と結果を参照してください。
初心者database_migration_events

データベース移行の失敗をリリースごとに追跡する

ロールアウトを完了する前に、アプリケーションのリリースごとにデータベースの移行の成功、失敗、ロールバック、期間を比較します。

SQL と結果を参照してください。
中級者database_request_query_events

N+1 データベースクエリパターンの検出

1 つのアプリケーション リクエスト内で何度も繰り返されるデータベース フィンガープリントを検出します。

SQL と結果を参照してください。
初心者database_query_events

データベースクエリを合計時間の影響でランク付けする

コール量と待ち時間を組み合わせて、アプリケーション時間を最も多く消費しているデータベース フィンガープリントを見つけます。

SQL と結果を参照してください。
中級者database_transaction_events

長時間実行されるデータベース トランザクションの測定

ロングテール、ロールバック、過度のオープン期間を持つアプリケーション トランザクション クラスを見つけます。

SQL と結果を参照してください。
初心者database_error_events

SQLSTATEとリリースによるデータベースエラーの分析

データベースの障害をポータブル SQLSTATE クラス、アプリケーション操作、リリースごとにグループ化します。

SQL と結果を参照してください。
中級者database_connection_events

データベース接続のタイムアウトとチャーンを測定する

接続のオープン、クローズ、取得タイムアウト、影響を受けるリクエストをサービスおよびリージョンごとに比較します。

SQL と結果を参照してください。
上級者向けdatabase_replica_read_events

リージョンごとにデータベース レプリカの古さを測定する

アプリケーションで観察されたレプリカのリプレイ ラグ、古い読み取り、フェイルオーバーの結果をリージョンごとに比較します。

SQL と結果を参照してください。
中級者frontend_vital_events

ルートとリリースごとにコア Web バイタルを比較

通過するサンプルのパーセンテージを視覚的に維持しながら、安定したルートとリリースによって LCP、INP、および CLS サンプルを比較します。

SQL と結果を参照してください。
初心者frontend_error_events

ルートおよびリリースごとの JavaScript エラーのランク

最も頻繁に JavaScript エラーが発生し、影響を受けたセッションを含むフロントエンド リリースとルートを検索します。

SQL と結果を参照してください。
中級者frontend_navigation_events

ルートごとの SPA ナビゲーション遅延の測定

目的地ルートとフロントエンド リリースごとに、クライアント側の標準的なナビゲーション時間を比較します。

SQL と結果を参照してください。
中級者browser_task_events

ルートごとにブラウザのロングタスク率を計算する

メインスレッドのブロック イベントとその合計ブロック時間をルートおよびフロントエンド リリースごとに測定します。

SQL と結果を参照してください。
初心者frontend_resource_events

ホストごとに遅いフロントエンド リソースを検索する

スクリプト、スタイルシート、画像、API リソースをテール期間、失敗、転送バイト数によってランク付けします。

SQL と結果を参照してください。

独自のイベントを使用する

サンプルテーブルを交換して分析パターンを維持

Telemetry は、構造化イベントからテーブルを作成します。フィールドが流れ始めたら、レシピを調整し、結果を保存して、共有ダッシュボードまたはアラートに変換します。

API キーを取得する