LangChain Agent Outcome Telemetry: 境界から検証された行まで
制御されたアプリケーション境界で LangChain Agent Outcome Telemetry を使用し、イベント コントラクトを小さく保ち、集約ビューを構築する前に既知の結果を検証します。
- 1
結果を選択してください
LangChainエージェントの完了監視
- 2
契約を定義する
run_id、agent_name、機能、モデル、ステータス、および prompt_version
- 3
境界を計測する
詳細なトレースには LangSmith または OpenTelemetry を使用し、製品および運用データに結合する限定結果イベントには Telemetry を使用します。
- 4
証拠を検証する
Exercise a known fixture, then inspect agent_run_completed for one correctly typed terminal row.
始める前に
前提条件と境界
- サーバー側 TELEMETRY_API_KEY
- 安定したエージェント、機能、ツール、およびプロンプトのバージョン名
- メッセージ、ツール引数、および出力を一般的なイベントから除外する秘匿化ポリシー
配信設定
サーバー側のインストールと初期化
サーバー専用コードで telemetry-sh をインポートし、process.env.TELEMETRY_API_KEY で一度初期化します。 ブラウザ バンドル、クライアントに表示される環境変数、ソース管理、ログ、および例外メッセージに取り込み資格情報が含まれないようにします。
npmのインストール
npm install telemetry-sh- 1制限されたネットワーク動作を持つ再利用可能なサーバー側配信クライアントを 1 つ準備します。
- 2成功、失敗、再試行、またはタイムアウトの境界に結果イベントを追加します。
- 3アラートを有効にする前に、制御されたフィクスチャを送信し、保存されている行を検査します。
スニペット
1 つの構造化されたイベントから始める
ワークフローが完了、失敗、または再試行される場所にこの図形を追加します。次に、実際のフィールドからダッシュボードを構築します。
LangChain Agent Outcome Telemetryイベント
import { randomUUID } from "node:crypto";
import telemetry from "telemetry-sh";
const runId = randomUUID();
const startedAt = performance.now();
try {
const result = await agent.invoke({
messages: [{ role: "user", content: userInput }],
});
await telemetry.log("agent_run_completed", {
run_id: runId,
agent_name: "support_agent",
feature: "support_resolution",
prompt_version: "support-v6",
status: "success",
duration_ms: Math.round(performance.now() - startedAt),
tool_calls: countToolCalls(result),
human_handoff: result.handoffRequired,
completed_task: result.resolutionCreated,
});
return result;
} catch (error) {
await telemetry.log("agent_run_completed", {
run_id: runId,
agent_name: "support_agent",
feature: "support_resolution",
prompt_version: "support-v6",
status: "failed",
duration_ms: Math.round(performance.now() - startedAt),
error_type: classifyAgentError(error),
});
throw error;
}イベント契約
run_id、agent_name、機能、モデル、ステータス、および prompt_version
duration_ms、tool_calls、再試行、human_handoff、および error_type
承認、保存、completed_task、または別のレビュー済みの製品結果
実装のチェックポイント
チェックポイント 1
詳細なトレースには LangSmith または OpenTelemetry を使用し、製品および運用データに結合する限定結果イベントには Telemetry を使用します。
チェックポイント 2
メッセージの内容やツールの引数ではなく、相関関係のための実行識別子を記録します。
チェックポイント 3
アシスタント メッセージの存在ではなく、最終製品またはレビュー担当者の結果からタスクの成功を定義します。
検証
イベントが到着したことを証明する
既知の成功例と失敗例を実行した後、これを実行します。最終的なイベント コントラクトがスニペットと異なる場合は、フォールバック テーブル名を置き換えます。
LangChain Agent Outcome Telemetry 検証クエリ
SELECT *
FROM agent_run_completed
ORDER BY timestamp_utc DESC
LIMIT 20;実装の参考資料
新しい運用パスを有効にする前に、イベント契約、データ安全性に関するガイダンス、上流の主要ドキュメントを確認してください。
生産境界
結果イベントを小さく、回復可能なものに保つ
このパターンが提供するのは、
- 上流のワークフローの横にある、制限付きの SQL 対応の結果。
- ダッシュボード、アラート、およびイベント間の相関関係の安定したフィールド。
- 成功、失敗、再試行、タイムアウトの動作を検証するためのフィクスチャ駆動のパス。
このパターンでは提供されません
- OTLP エクスポーター、自動収集パイプライン、または詳細なトレースと診断ログの代替。
- ペイロードにイベント ID が含まれているという理由だけで、1 回だけ配信されます。
- 生のプロバイダー ペイロード、ユーザー コンテンツ、資格情報、または規制されたデータを収集する許可。
イベントスキーマの開始点
このワークフローのイベント コントラクト
クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。
関連製品の機能
このワークフローを続行します AIエージェントの監視
レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。
関連する SQL レシピ
SQL で次の質問に答えてください
このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。
AI エージェントのタスクの成功と人間による引き継ぎを測定する
どのエージェントのワークフローが正常に終了し、受け入れられた結果をもたらしますか?
レシピを開くネストされた AI ツール呼び出しイベントのクエリ
最も失敗した呼び出しに関連する AI ツールと引数はどれですか?
レシピを開く繰り返しを検出する AI エージェント ツール Loops
どのエージェントの実行が繰り返しのツール ループに陥っているように見えますか?
レシピを開く1 ドルあたりの受け入れられた AI 出力を測定する
どのモデルと機能の組み合わせが、1 ドルあたり最も受け入れられる出力を生成しますか?
レシピを開く実装ファミリーごとに参照する
関連する統合パターンを比較する
この統合と組み合わせるテンプレート
さらなる統合
CrewAI ワークフロー Telemetry
エージェントの会話を保持することなく、CrewAI のスタッフとフローの結果、タスク数、ハンドオフ、再試行、待ち時間、コスト、承認された結果を追跡します。
オープンガイドクロード エージェント SDK Telemetry
プロンプトやツールのペイロードを保存せずに、クロード エージェント SDK の実行結果、期間、ツール アクティビティ、ターン、コスト、および承認された製品シグナルを追跡します。
オープンガイドピダンティック AI エージェント Telemetry
Pydantic AI の実行結果、検証された出力、再試行、ツールのアクティビティ、レイテンシ、使用状況、製品の受け入れ状況を、安全な構造化イベントで測定します。
オープンガイド