本文へ移動
Telemetry
統合コレクション

AI エージェントと LLM Telemetry の統合

モデル プロバイダー、エージェント フレームワーク、ツール オーケストレーション、取得システム、AI アプリケーション ランタイムの実装ガイドを比較します。

レビュー者 Telemetry 製品チーム . ランタイム境界、共有イベントフィールド、検証ワークフロー、上流の実装ソース. 基準と所有権を確認する

20 実装ガイド

すべてのガイドには、サーバー側のスニペット、配信とプライバシーの境界、検証クエリ、関連する SQL、および上流のドキュメントへのリンクが含まれています。

ガイドを参照する

選考枠組み

結果がわかる境界を選択してください

最終結果の所有者を計測する

リクエストのコストとレイテンシーについてはモデル SDK ガイドを使用し、ツールの選択、再試行、および最終タスクのステータスがわかるエージェントまたはフレームワーク ガイドを追加します。

痕跡と結果を区別しておく

必要に応じて、詳細なスパンのトレース バックエンドを保持します。承認された相関識別子を使用して、制限された製品結果を Telemetry に送信します。

コスト以外の価値も測る

リクエスト量だけを最適化するのではなく、トークンとレイテンシを、承認、保存、解決、エスカレーション、ハンドオフなどのレビューされた結果に結び付けます。

共有イベント契約

最初のスキーマを相互運用可能に保つ

  • run_id、機能、プロバイダー、モデル、ステータス
  • input_tokens、output_tokens、estimated_cost_usd、および latency_ms
  • tool_name、retry_count、cache_hit、reviewer_outcome、および human_handoff

これらのフィールドをワークフローに適応させますが、複数のサービスが同じテーブルに依存する前に、ユニット、ステータス カテゴリ、識別子、および所有権を明示的に保ちます。

検証

アラートの前に障害パスを実行する

  1. 1成功したモデル リクエストを 1 つ実行し、プロバイダーから報告されたトークンを調整します。
  2. 21 つのツールの実行が失敗し、再試行され、最終的なエージェントの結果が得られます。
  3. 3生のプロンプト、入力完了、資格情報、およびプライベート ツールのペイロードが除外されていることを確認します。
  4. 4クエリのコスト、レイテンシー、失敗率、および機能ごとの受け入れられた結果。

実装ガイド

フレームワーク、プロバイダー、またはランタイムを一致させる

ソースされた実装ガイド

OpenAI エージェント Telemetry

OpenAI エージェントの実行、ツール呼び出し、モデルの使用状況、レイテンシー、コスト、および構造化イベントによる最終結果をログに記録します。

オープンガイド
ソースされた実装ガイド

OpenAI 応答 API Telemetry

プロンプトや生成されたコンテンツを収集せずに、OpenAI レスポンス API レイテンシ、トークン使用量、ツール アクティビティ、障害、およびダウンストリームの結果を測定します。

オープンガイド
ソースされた実装ガイド

LiteLLM ゲートウェイおよび SDK Telemetry

制御されたモデルのゲートウェイ全体で、LiteLLM プロバイダーのルーティング、再試行、フォールバック、トークンの使用状況、レイテンシ、コスト見積もり、および受け入れられた結果を追跡します。

オープンガイド
ソースされた実装ガイド

人間性クロード API Telemetry

プロンプトを保存せずに、Claude API トークンの使用状況、モデル、レイテンシ、停止理由、エラー、コスト コンテキスト、レビューされた製品の結果を追跡します。

オープンガイド
ソースされた実装ガイド

Google ジェミニ API Telemetry

プロンプトや生成されたコンテンツを保存せずに、Gemini リクエストのレイテンシー、モデルの使用状況、トークン、終了理由、エラー、レビューされた製品の結果を追跡します。

オープンガイド
ソースされた実装ガイド

Amazon Bedrock モデル Telemetry

Bedrock Converse リクエストをモデルまたは推論プロファイル、トークン使用量、レイテンシー、停止理由、再試行、ビジネス結果別に測定します。

オープンガイド
ソースされた実装ガイド

Azure OpenAI 応答 Telemetry

編集可能な SQL 対応イベントを使用して、Azure OpenAI デプロイの使用状況、トークン コスト、遅延、障害、製品の結果を追跡します。

オープンガイド
ソースされた実装ガイド

Vercel AI SDK テレメトリ

ストリーミングの完了、トークンの使用状況、再試行、レイテンシ、および AI SDK ワークフローからの受け入れられた結果を追跡します。

オープンガイド
ソースされた実装ガイド

LangChain エージェントの結果 Telemetry

生のトレースを複製することなく、LangChain エージェントの実行とツールの結果を製品に関わるコスト、信頼性、ハンドオフ、および受け入れメトリクスに結び付けます。

オープンガイド
ソースされた実装ガイド

LangGraph エージェントの可観測性

LangGraph の実行結果、ノードとツールの障害、再試行、チェックポイント、人間によるハンドオフ、遅延、レビューされたタスクの品質を測定します。

オープンガイド
ソースされた実装ガイド

クロード エージェント SDK Telemetry

プロンプトやツールのペイロードを保存せずに、クロード エージェント SDK の実行結果、期間、ツール アクティビティ、ターン、コスト、および承認された製品シグナルを追跡します。

オープンガイド
ソースされた実装ガイド

ピダンティック AI エージェント Telemetry

Pydantic AI の実行結果、検証された出力、再試行、ツールのアクティビティ、レイテンシ、使用状況、製品の受け入れ状況を、安全な構造化イベントで測定します。

オープンガイド
ソースされた実装ガイド

CrewAI ワークフロー Telemetry

エージェントの会話を保持することなく、CrewAI のスタッフとフローの結果、タスク数、ハンドオフ、再試行、待ち時間、コスト、承認された結果を追跡します。

オープンガイド
ソースされた実装ガイド

Google ADK エージェント Telemetry

SQL 対応イベントを使用して、Google Agent Development Kit セッション、実行結果、ツール アクティビティ、ハンドオフ、レイテンシ、承認済みの製品シグナルを測定します。

オープンガイド
ソースされた実装ガイド

マストラエージェント Telemetry

Mastra エージェントとワークフローの結果、ツールのアクティビティ、レイテンシー、再試行、コスト、製品の受け入れ状況を、組み込みのトレースと評価とともに追跡します。

オープンガイド
ソースされた実装ガイド

LlamaIndex エージェント Telemetry

LlamaIndex エージェントとワークフローの結果、ツールのアクティビティ、レイテンシー、取得バージョン、コスト、構造化イベントによるレビューされた品質を追跡します。

オープンガイド
ソースされた実装ガイド

DSPy プログラムの評価 Telemetry

SQL 対応イベントを使用して、DSPy プログラムのレイテンシー、障害、メトリック スコア、オプティマイザーのバージョン、モデルのコスト、リリース全体で受け入れられた結果を測定します。

オープンガイド
ソースされた実装ガイド

AutoGen タスク フロー、状態、タイムアウトの監視

AutoGen タスクフローの状態、タイムアウト、チームとエージェントの結果、ツールのアクティビティ、ハンドオフ、遅延、障害、コスト、リリースをコンパクトな構造化イベントで追跡します。

オープンガイド
ソースされた実装ガイド

セマンティック カーネル エージェント Telemetry

セマンティック カーネル機能とエージェントの結果、ツール アクティビティ、モデルの使用状況、レイテンシー、コスト、リリースを OpenTelemetry トレースとともに測定します。

オープンガイド
ソースされた実装ガイド

MCP サーバーおよびツール Telemetry

引数や返されたコンテンツを保存せずに、モデル コンテキスト プロトコル ツールの結果、遅延、エラー、承認、再試行、クライアント、リリースを追跡します。

オープンガイド

最初に 1 つのエンドツーエンドのワークフローを確認します

無料の API キーを作成し、最も近いランタイム ガイドを選択し、カバレッジを拡大する前に既知の成功と失敗を 1 つ送信します。

無料で始める