LiteLLM Gateway and SDK Telemetry: 境界から検証された行まで
制御されたアプリケーション境界で LiteLLM Gateway and SDK Telemetry を使用し、イベント コントラクトを小さく保ち、集約ビューを構築する前に既知の結果を検証します。
- 1
結果を選択してください
プロバイダー間の LLM の信頼性
- 2
契約を定義する
operation_id、機能、requested_model、response_model、プロバイダー、ルート、リリース
- 3
境界を計測する
ラッパーは、最終的な製品結果の所有権をアプリケーションに与えます。 LiteLLM コールバックは、ゲートウェイによって報告されたコストとルーティング コンテキストでそれを補うことができます。
- 4
証拠を検証する
Exercise a known fixture, then inspect litellm_request_completed for one correctly typed terminal row.
始める前に
前提条件と境界
- LiteLLM と telemetry-sh が信頼できる Python サービスで初期化されました
- 安定した機能、ルート、モデルエイリアス、プロバイダー、チーム、リリースのディメンション
- モデルのコンテンツを除外するレビュー済みのコールバックまたはラッパー境界
配信設定
サーバー側のインストールと初期化
サーバー側キーを使用して、プロセスごとに 1 回、同期コードの場合は Telemetry を、非同期コードの場合は TelemetryAsync を初期化します。 ブラウザ バンドル、クライアントに表示される環境変数、ソース管理、ログ、および例外メッセージに取り込み資格情報が含まれないようにします。
pipのインストール
python -m pip install telemetry-sh- 1制限されたネットワーク動作を持つ再利用可能なサーバー側配信クライアントを 1 つ準備します。
- 2成功、失敗、再試行、またはタイムアウトの境界に結果イベントを追加します。
- 3アラートを有効にする前に、制御されたフィクスチャを送信し、保存されている行を検査します。
スニペット
1 つの構造化されたイベントから始める
ワークフローが完了、失敗、または再試行される場所にこの図形を追加します。次に、実際のフィールドからダッシュボードを構築します。
LiteLLM Gateway and SDK Telemetryイベント
from time import perf_counter
from litellm import completion
def complete_with_outcome(messages, operation_id: str):
started_at = perf_counter()
status = "success"
error_type = None
response = None
try:
response = completion(
model="openai/gpt-5.6",
messages=messages,
)
return response
except Exception as error:
status = "failed"
error_type = classify_gateway_error(error)
raise
finally:
usage = getattr(response, "usage", None)
telemetry.log("litellm_request_completed", {
"operation_id": operation_id,
"feature": "support_draft",
"requested_model": "openai/gpt-5.6",
"response_model": getattr(response, "model", None),
"status": status,
"error_type": error_type,
"duration_ms": round((perf_counter() - started_at) * 1000),
"input_tokens": getattr(usage, "prompt_tokens", 0),
"output_tokens": getattr(usage, "completion_tokens", 0),
"release": APP_RELEASE,
})イベント契約
operation_id、機能、requested_model、response_model、プロバイダー、ルート、リリース
ステータス、duration_ms、input_tokens、output_tokens、retry_count、fallback_used、および error_type
estimated_cost_usd、pricing_version、承認済み、cache_hit、account_id、および承認時の環境
実装のチェックポイント
チェックポイント 1
ラッパーは、最終的な製品結果の所有権をアプリケーションに与えます。 LiteLLM コールバックは、ゲートウェイによって報告されたコストとルーティング コンテキストでそれを補うことができます。
チェックポイント 2
要求されたモデルのエイリアスをプロバイダーの応答モデルから分離して、フォールバック動作が引き続きクエリ可能になるようにします。
チェックポイント 3
メッセージ、応答、ツール ペイロード、仮想キー、プロバイダー資格情報、または無制限の例外を Telemetry にコピーしないでください。
検証
イベントが到着したことを証明する
既知の成功例と失敗例を実行した後、これを実行します。最終的なイベント コントラクトがスニペットと異なる場合は、フォールバック テーブル名を置き換えます。
LiteLLM Gateway and SDK Telemetry 検証クエリ
SELECT *
FROM litellm_request_completed
ORDER BY timestamp_utc DESC
LIMIT 20;実装の参考資料
新しい運用パスを有効にする前に、イベント契約、データ安全性に関するガイダンス、上流の主要ドキュメントを確認してください。
生産境界
結果イベントを小さく、回復可能なものに保つ
このパターンが提供するのは、
- 上流のワークフローの横にある、制限付きの SQL 対応の結果。
- ダッシュボード、アラート、およびイベント間の相関関係の安定したフィールド。
- 成功、失敗、再試行、タイムアウトの動作を検証するためのフィクスチャ駆動のパス。
このパターンでは提供されません
- OTLP エクスポーター、自動収集パイプライン、または詳細なトレースと診断ログの代替。
- ペイロードにイベント ID が含まれているという理由だけで、1 回だけ配信されます。
- 生のプロバイダー ペイロード、ユーザー コンテンツ、資格情報、または規制されたデータを収集する許可。
イベントスキーマの開始点
このワークフローのイベント コントラクト
クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。
関連製品の機能
このワークフローを続行します AIエージェントの監視
レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。
関連する SQL レシピ
SQL で次の質問に答えてください
このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。
機能とモデルごとに LLM コストを計算する
LLM の支出を促進しているのはどの製品機能とモデルですか?
レシピを開くLLM キャッシュの節約と再試行コストを測定する
再試行とキャッシュミスに関連するモデルコストはどれくらいですか?
レシピを開く最初のトークンまでの LLM 時間を測定する
出力が開始される前に速度が遅いと感じるモデルと機能の組み合わせはどれですか?
レシピを開く1 ドルあたりの受け入れられた AI 出力を測定する
どのモデルと機能の組み合わせが、1 ドルあたり最も受け入れられる出力を生成しますか?
レシピを開くローリングベースラインによるエラー率のスパイクの検出
最近のベースラインを大幅に上回っている時間単位のエラー率バケットはどれですか?
レシピを開く実装ファミリーごとに参照する
関連する統合パターンを比較する
この統合と組み合わせるテンプレート
さらなる統合
OpenAI 応答 API Telemetry
プロンプトや生成されたコンテンツを収集せずに、OpenAI レスポンス API レイテンシ、トークン使用量、ツール アクティビティ、障害、およびダウンストリームの結果を測定します。
オープンガイド人間性クロード API Telemetry
プロンプトを保存せずに、Claude API トークンの使用状況、モデル、レイテンシ、停止理由、エラー、コスト コンテキスト、レビューされた製品の結果を追跡します。
オープンガイドVercel AI SDK テレメトリ
ストリーミングの完了、トークンの使用状況、再試行、レイテンシ、および AI SDK ワークフローからの受け入れられた結果を追跡します。
オープンガイド