最終結果の所有者を計測する
リクエストのコストとレイテンシーについてはモデル SDK ガイドを使用し、ツールの選択、再試行、および最終タスクのステータスがわかるエージェントまたはフレームワーク ガイドを追加します。
モデル プロバイダー、エージェント フレームワーク、ツール オーケストレーション、取得システム、AI アプリケーション ランタイムの実装ガイドを比較します。
レビュー者 Telemetry 製品チーム に . ランタイム境界、共有イベントフィールド、検証ワークフロー、上流の実装ソース. 基準と所有権を確認する
選考枠組み
リクエストのコストとレイテンシーについてはモデル SDK ガイドを使用し、ツールの選択、再試行、および最終タスクのステータスがわかるエージェントまたはフレームワーク ガイドを追加します。
必要に応じて、詳細なスパンのトレース バックエンドを保持します。承認された相関識別子を使用して、制限された製品結果を Telemetry に送信します。
リクエスト量だけを最適化するのではなく、トークンとレイテンシを、承認、保存、解決、エスカレーション、ハンドオフなどのレビューされた結果に結び付けます。
共有イベント契約
これらのフィールドをワークフローに適応させますが、複数のサービスが同じテーブルに依存する前に、ユニット、ステータス カテゴリ、識別子、および所有権を明示的に保ちます。
検証
実装ガイド
OpenAI エージェントの実行、ツール呼び出し、モデルの使用状況、レイテンシー、コスト、および構造化イベントによる最終結果をログに記録します。
オープンガイドプロンプトや生成されたコンテンツを収集せずに、OpenAI レスポンス API レイテンシ、トークン使用量、ツール アクティビティ、障害、およびダウンストリームの結果を測定します。
オープンガイド制御されたモデルのゲートウェイ全体で、LiteLLM プロバイダーのルーティング、再試行、フォールバック、トークンの使用状況、レイテンシ、コスト見積もり、および受け入れられた結果を追跡します。
オープンガイドプロンプトを保存せずに、Claude API トークンの使用状況、モデル、レイテンシ、停止理由、エラー、コスト コンテキスト、レビューされた製品の結果を追跡します。
オープンガイドプロンプトや生成されたコンテンツを保存せずに、Gemini リクエストのレイテンシー、モデルの使用状況、トークン、終了理由、エラー、レビューされた製品の結果を追跡します。
オープンガイドBedrock Converse リクエストをモデルまたは推論プロファイル、トークン使用量、レイテンシー、停止理由、再試行、ビジネス結果別に測定します。
オープンガイド編集可能な SQL 対応イベントを使用して、Azure OpenAI デプロイの使用状況、トークン コスト、遅延、障害、製品の結果を追跡します。
オープンガイドストリーミングの完了、トークンの使用状況、再試行、レイテンシ、および AI SDK ワークフローからの受け入れられた結果を追跡します。
オープンガイド生のトレースを複製することなく、LangChain エージェントの実行とツールの結果を製品に関わるコスト、信頼性、ハンドオフ、および受け入れメトリクスに結び付けます。
オープンガイドLangGraph の実行結果、ノードとツールの障害、再試行、チェックポイント、人間によるハンドオフ、遅延、レビューされたタスクの品質を測定します。
オープンガイドプロンプトやツールのペイロードを保存せずに、クロード エージェント SDK の実行結果、期間、ツール アクティビティ、ターン、コスト、および承認された製品シグナルを追跡します。
オープンガイドPydantic AI の実行結果、検証された出力、再試行、ツールのアクティビティ、レイテンシ、使用状況、製品の受け入れ状況を、安全な構造化イベントで測定します。
オープンガイドエージェントの会話を保持することなく、CrewAI のスタッフとフローの結果、タスク数、ハンドオフ、再試行、待ち時間、コスト、承認された結果を追跡します。
オープンガイドSQL 対応イベントを使用して、Google Agent Development Kit セッション、実行結果、ツール アクティビティ、ハンドオフ、レイテンシ、承認済みの製品シグナルを測定します。
オープンガイドMastra エージェントとワークフローの結果、ツールのアクティビティ、レイテンシー、再試行、コスト、製品の受け入れ状況を、組み込みのトレースと評価とともに追跡します。
オープンガイドLlamaIndex エージェントとワークフローの結果、ツールのアクティビティ、レイテンシー、取得バージョン、コスト、構造化イベントによるレビューされた品質を追跡します。
オープンガイドSQL 対応イベントを使用して、DSPy プログラムのレイテンシー、障害、メトリック スコア、オプティマイザーのバージョン、モデルのコスト、リリース全体で受け入れられた結果を測定します。
オープンガイドAutoGen タスクフローの状態、タイムアウト、チームとエージェントの結果、ツールのアクティビティ、ハンドオフ、遅延、障害、コスト、リリースをコンパクトな構造化イベントで追跡します。
オープンガイドセマンティック カーネル機能とエージェントの結果、ツール アクティビティ、モデルの使用状況、レイテンシー、コスト、リリースを OpenTelemetry トレースとともに測定します。
オープンガイド引数や返されたコンテンツを保存せずに、モデル コンテキスト プロトコル ツールの結果、遅延、エラー、承認、再試行、クライアント、リリースを追跡します。
オープンガイド無料の API キーを作成し、最も近いランタイム ガイドを選択し、カバレッジを拡大する前に既知の成功と失敗を 1 つ送信します。