詳細な実行を耐久性のある製品の成果に結びつける
ステップレベルのトレースを専門家トレース パスに保持し、エージェントの品質、コスト、信頼性、製品の動作を結合できる 1 つのコンパクトなターミナル イベントを発行します。
- 1
エージェントの実行
承認された実行識別子、ワークフロー、モデル、およびプロンプト バージョンから開始します。
- 2
ツールと再試行
ペイロードをコピーせずに、障害を追跡および分類する際の詳細な手順を保持します。
- 3
最終結果
成功、失敗、キャンセル、または人間によるハンドオフをコストと期間とともに出力します。
- 4
SQL決定
受け入れられた結果、失敗、ユニットエコノミクスを機能とリリースごとに比較します。
始める前に
始める前に
- サーバー ランタイムで初期化された OpenAI エージェント SDK および telemetry-sh パッケージ
- 文書化されたワークフロー名と最終的な成功、失敗、ハンドオフの結果
- どのプロンプト、ツール入力、および出力コンテンツを除外しておく必要があるかについての決定
配信設定
サーバー側のインストールと初期化
サーバー専用コードで telemetry-sh をインポートし、process.env.TELEMETRY_API_KEY で一度初期化します。 ブラウザ バンドル、クライアントに表示される環境変数、ソース管理、ログ、および例外メッセージに取り込み資格情報が含まれないようにします。
npmのインストール
npm install telemetry-sh- 1制限されたネットワーク動作を持つ再利用可能なサーバー側配信クライアントを 1 つ準備します。
- 2成功、失敗、再試行、またはタイムアウトの境界に結果イベントを追加します。
- 3アラートを有効にする前に、制御されたフィクスチャを送信し、保存されている行を検査します。
スニペット
1 つの構造化されたイベントから始める
ワークフローが完了、失敗、または再試行される場所にこの図形を追加します。次に、実際のフィールドからダッシュボードを構築します。
OpenAI agent telemetryイベント
await telemetry.log("agent_tool_called", {
run_id: runId,
workflow: "support_resolution",
agent_name: "support_agent",
model: "gpt-4.1",
tool_name: "lookup_order",
status: "success",
latency_ms: 842,
retry_count: 0,
estimated_cost_usd: 0.018,
prompt_version: "support-v3",
release: process.env.APP_RELEASE,
});イベントスキーマ
run_id、ワークフロー、agent_name、モデル、および prompt_version
ステータス、duration_ms、retry_count、total_tokens、および estimated_cost_usd
tool_name、tool_status、human_handoff、reviewer_outcome、およびリリース
設定を確認する
チェックポイント 1
完全な実行が終了すると、1 つのコンパクトな製品結果が出力されます。すべてのスパンを 2 番目のシステムにコピーするのではなく、ステップ レベルのデバッグ用に SDK トレースを保持します。
チェックポイント 2
共有 run_id または承認された trace_id を使用して、ツールの引数や結果を保存せずに個別のツール イベントを接続します。
チェックポイント 3
完了率ダッシュボードに頼る前に、ツールの失敗、ガードレールの拒否、ハンドオフ、キャンセル、およびエクスポータのフラッシュ動作を確認してください。
検証
イベントが到着したことを証明する
既知の成功例と失敗例を実行した後、これを実行します。最終的なイベント コントラクトがスニペットと異なる場合は、フォールバック テーブル名を置き換えます。
OpenAI agent telemetry 検証クエリ
SELECT *
FROM agent_tool_called
ORDER BY timestamp_utc DESC
LIMIT 20;実装の参考資料
新しい運用パスを有効にする前に、イベント契約、データ安全性に関するガイダンス、上流の主要ドキュメントを確認してください。
イベントを記録する場所
結果イベントを小さく、回復可能なものに保つ
このパターンが提供するのは、
- 上流のワークフローの横にある、制限付きの SQL 対応の結果。
- ダッシュボード、アラート、およびイベント間の相関関係の安定したフィールド。
- 成功、失敗、再試行、タイムアウトの動作を検証するためのフィクスチャ駆動のパス。
このパターンでは提供されません
- OTLP エクスポーター、自動収集パイプライン、または詳細なトレースと診断ログの代替。
- ペイロードにイベント ID が含まれているという理由だけで、1 回だけ配信されます。
- 生のプロバイダー ペイロード、ユーザー コンテンツ、資格情報、または規制されたデータを収集する許可。
イベントスキーマの例
このワークフローのイベントスキーマ
クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。
関連製品の機能
このワークフローを続行します AIエージェントの監視
レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。
関連する SQL レシピ
その他のSQL例
このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。
AI エージェント ツールの承認決定を監査する
どのエージェント ツールが最も頻繁に拒否されたり、人間の承認に送られたりするのでしょうか?
レシピを開くプロンプト バージョンごとに AI 品質の低下を見つける
新しいプロンプト バージョンでは、人間による引き継ぎを増やすことなく品質が向上しましたか?
レシピを開く相関のあるワークフローのタイムラインを再構築する
最近失敗したワークフロー中に、順番に何が起こったのでしょうか?
レシピを開くネストされた AI ツール呼び出しイベントのクエリ
最も失敗した呼び出しに関連する AI ツールと引数はどれですか?
レシピを開く繰り返しを検出する AI エージェント ツール Loops
どのエージェントの実行が繰り返しのツール ループに陥っているように見えますか?
レシピを開く機能とモデルごとに LLM コストを計算する
LLM の支出を促進しているのはどの製品機能とモデルですか?
レシピを開くLLM キャッシュの節約と再試行コストを測定する
再試行とキャッシュミスに関連するモデルコストはどれくらいですか?
レシピを開く最初のトークンまでの LLM 時間を測定する
出力が開始される前に速度が遅いと感じるモデルと機能の組み合わせはどれですか?
レシピを開く1 ドルあたりの受け入れられた AI 出力を測定する
どのモデルと機能の組み合わせが、1 ドルあたり最も受け入れられる出力を生成しますか?
レシピを開くAI エージェントのタスクの成功と人間による引き継ぎを測定する
どのエージェントのワークフローが正常に終了し、受け入れられた結果をもたらしますか?
レシピを開くバージョンごとの RAG 取得品質の評価
新しい RAG パイプラインにより、検索率と根拠のある回答率は向上しましたか?
レシピを開く実装ファミリーごとに参照する
関連する統合パターンを比較する
この統合と組み合わせるテンプレート
さらなる統合
Vercel AI SDK テレメトリ
ストリーミングの完了、トークンの使用状況、再試行、レイテンシ、および AI SDK ワークフローからの受け入れられた結果を追跡します。
オープンガイドクロード エージェント SDK Telemetry
プロンプトやツールのペイロードを保存せずに、クロード エージェント SDK の実行結果、期間、ツール アクティビティ、ターン、コスト、および承認された製品シグナルを追跡します。
オープンガイドピダンティック AI エージェント Telemetry
Pydantic AI の実行結果、検証された出力、再試行、ツールのアクティビティ、レイテンシ、使用状況、製品の受け入れ状況を、安全な構造化イベントで測定します。
オープンガイド