本文へ移動
Telemetry
統合ガイド

Amazon Bedrock モデル Telemetry

Bedrock Converse リクエストをモデルまたは推論プロファイル、トークン使用量、レイテンシー、停止理由、再試行、ビジネス結果別に測定します。

レビュー者 Telemetry 製品チーム に . インストルメンテーション契約、プライバシー境界、および実装ガイダンス. 基準と所有権を確認する

API キーを取得するスニペットを表示
役に立つ
  • 基盤モデルのコスト帰属
  • クロスリージョン推論の信頼性
  • Converse とツール使用ワークフローのモニタリング
実装の証拠

Amazon Bedrock Model Telemetry: 境界から検証された行まで

制御されたアプリケーション境界で Amazon Bedrock Model Telemetry を使用し、イベント コントラクトを小さく保ち、集約ビューを構築する前に既知の結果を検証します。

  1. 1

    結果を選択してください

    基盤モデルのコスト帰属

  2. 2

    契約を定義する

    プロバイダー、model_id、inference_profile、リージョン、機能、ステータス

  3. 3

    境界を計測する

    ルーティングと価格は異なる場合があるため、実際のモデルまたは推論プロファイルの識別子を記録します。

  4. 4

    証拠を検証する

    Exercise a known fixture, then inspect llm_request_completed for one correctly typed terminal row.

始める前に

前提条件と境界

  • 最小限の Bedrock モデル権限を持つ AWS 資格情報
  • サーバー側 TELEMETRY_API_KEY
  • 承認されたモデル、リージョン、機能、およびプロンプト バージョンのディメンション

配信設定

サーバー側のインストールと初期化

サーバー専用コードで telemetry-sh をインポートし、process.env.TELEMETRY_API_KEY で一度初期化します。 ブラウザ バンドル、クライアントに表示される環境変数、ソース管理、ログ、および例外メッセージに取り込み資格情報が含まれないようにします。

aws-bedrock-インストール

npmのインストール

bash
npm install telemetry-sh
  1. 1制限されたネットワーク動作を持つ再利用可能なサーバー側配信クライアントを 1 つ準備します。
  2. 2成功、失敗、再試行、またはタイムアウトの境界に結果イベントを追加します。
  3. 3アラートを有効にする前に、制御されたフィクスチャを送信し、保存されている行を検査します。

スニペット

1 つの構造化されたイベントから始める

ワークフローが完了、失敗、または再試行される場所にこの図形を追加します。次に、実際のフィールドからダッシュボードを構築します。

aws-bedrock

Amazon Bedrock Model Telemetryイベント

javascript
import {
  BedrockRuntimeClient,
  ConverseCommand,
} from "@aws-sdk/client-bedrock-runtime";
import telemetry from "telemetry-sh";

const bedrock = new BedrockRuntimeClient({ region: process.env.AWS_REGION });
const startedAt = performance.now();
const modelId = process.env.BEDROCK_MODEL_ID;

try {
  const response = await bedrock.send(new ConverseCommand({
    modelId,
    messages,
  }));

  await telemetry.log("llm_request_completed", {
    provider: "aws_bedrock",
    model: modelId,
    region: process.env.AWS_REGION,
    feature: "research_assistant",
    status: "success",
    latency_ms: Math.round(performance.now() - startedAt),
    input_tokens: response.usage?.inputTokens,
    output_tokens: response.usage?.outputTokens,
    total_tokens: response.usage?.totalTokens,
    finish_reason: response.stopReason,
  });

  return response;
} catch (error) {
  await telemetry.log("llm_request_completed", {
    provider: "aws_bedrock",
    model: modelId,
    region: process.env.AWS_REGION,
    feature: "research_assistant",
    status: "failed",
    latency_ms: Math.round(performance.now() - startedAt),
    error_type: classifyProviderError(error),
  });
  throw error;
}

イベント契約

プロバイダー、model_id、inference_profile、リージョン、機能、ステータス

input_tokens、output_tokens、latency_ms、stop_reason、および estimated_cost_usd

試行、tool_count、error_type、およびレビューされたビジネス結果

実装のチェックポイント

チェックポイント 1

ルーティングと価格は異なる場合があるため、実際のモデルまたは推論プロファイルの識別子を記録します。

チェックポイント 2

テキストの長さからトークンを推定するのではなく、Bedrock 応答の使用法を使用します。

チェックポイント 3

メッセージの内容、ツールの引数、資格情報、生のモデル応答を一般的なテレメトリの外に保管します。

検証

イベントが到着したことを証明する

既知の成功例と失敗例を実行した後、これを実行します。最終的なイベント コントラクトがスニペットと異なる場合は、フォールバック テーブル名を置き換えます。

aws-bedrock-検証

Amazon Bedrock Model Telemetry 検証クエリ

sql
SELECT *
FROM llm_request_completed
ORDER BY timestamp_utc DESC
LIMIT 20;
論理結果ごとに 1 つのターミナル行を、予想されるステータス、識別子、単位、および UTC 時刻とともに確認します。
推論されたスキーマを検査し、再試行によってフィールド タイプが変更されたり、新しい論理イベント ID が生成されたりしないことを確認します。
保存されたフィールドで認証情報、生のペイロード、プロンプト、プライベート コンテンツ、および無制限のエラー メッセージを検索します。
ダッシュボードを完了として扱う前に、プロバイダーのタイムアウト、取り込みの拒否、およびプロセスのシャットダウンを実行します。

実装の参考資料

新しい運用パスを有効にする前に、イベント契約、データ安全性に関するガイダンス、上流の主要ドキュメントを確認してください。

LLM コスト SQLAI の最初のトークンまでの時間 SQLエージェントの可観測性のユースケースベッドロック コンバース API基盤推論 API

生産境界

結果イベントを小さく、回復可能なものに保つ

このパターンが提供するのは、

  • 上流のワークフローの横にある、制限付きの SQL 対応の結果。
  • ダッシュボード、アラート、およびイベント間の相関関係の安定したフィールド。
  • 成功、失敗、再試行、タイムアウトの動作を検証するためのフィクスチャ駆動のパス。

このパターンでは提供されません

  • OTLP エクスポーター、自動収集パイプライン、または詳細なトレースと診断ログの代替。
  • ペイロードにイベント ID が含まれているという理由だけで、1 回だけ配信されます。
  • 生のプロバイダー ペイロード、ユーザー コンテンツ、資格情報、または規制されたデータを収集する許可。
配信と冪等性バッチ処理とシャットダウン取り込みのトラブルシューティング

イベントスキーマの開始点

このワークフローのイベント コントラクト

クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。

AIの運用10 フィールド

llm_request_completed

1 つの完了したモデルプロバイダーリクエスト。

契約書の検査
AIエージェントの運用10 フィールド

ai_agent_run_completed

論理エージェントの実行ごとに 1 つの最終結果。

契約書の検査

関連製品の機能

このワークフローを続行します AIエージェントの監視

レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。

探索 AIエージェントの監視顧客の証拠を確認する

関連する SQL レシピ

SQL で次の質問に答えてください

このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。

すべてのレシピを参照する
AIとLLM初心者

機能とモデルごとに LLM コストを計算する

LLM の支出を促進しているのはどの製品機能とモデルですか?

レシピを開く
AIとLLM中級者

最初のトークンまでの LLM 時間を測定する

出力が開始される前に速度が遅いと感じるモデルと機能の組み合わせはどれですか?

レシピを開く
AIとLLM中級者

LLM キャッシュの節約と再試行コストを測定する

再試行とキャッシュミスに関連するモデルコストはどれくらいですか?

レシピを開く
AIとLLM中級者

AI エージェントのタスクの成功と人間による引き継ぎを測定する

どのエージェントのワークフローが正常に終了し、受け入れられた結果をもたらしますか?

レシピを開く
完全なコレクションAIとLLM SQL

実装ファミリーごとに参照する

関連する統合パターンを比較する

AI エージェントと LLM Telemetry の統合クラウドとインフラストラクチャ Telemetry の統合

この統合と組み合わせるテンプレート

LLM コスト トラッカー

機能、ユーザー、アカウントごとにモデルの支出、トークン使用量、レイテンシー、失敗率、および価値シグナルを測定します。

テンプレートを開く

AI エージェント可観測性テンプレート

構造化された SQL 対応イベントを使用して、エージェントの実行、ツール呼び出し、再試行、モデルの遅延、エラー、受け入れられた結果を追跡します。

テンプレートを開く

さらなる統合

人間性クロード API Telemetry

プロンプトを保存せずに、Claude API トークンの使用状況、モデル、レイテンシ、停止理由、エラー、コスト コンテキスト、レビューされた製品の結果を追跡します。

オープンガイド

OpenAI エージェント Telemetry

OpenAI エージェントの実行、ツール呼び出し、モデルの使用状況、レイテンシー、コスト、および構造化イベントによる最終結果をログに記録します。

オープンガイド

OpenAI 応答 API Telemetry

プロンプトや生成されたコンテンツを収集せずに、OpenAI レスポンス API レイテンシ、トークン使用量、ツール アクティビティ、障害、およびダウンストリームの結果を測定します。

オープンガイド