LlamaIndex Agent Telemetry: 境界から検証された行まで
制御されたアプリケーション境界で LlamaIndex Agent Telemetry を使用し、イベント コントラクトを小さく保ち、集約ビューを構築する前に既知の結果を検証します。
- 1
結果を選択してください
LlamaIndex エージェントの監視
- 2
契約を定義する
run_id、ワークフロー、agent_name、model_alias、index_version、prompt_version、リリース
- 3
境界を計測する
パブリックのagent.runまたはワークフロー境界をラップし、ハンドラーの完了後に1つのターミナル・アプリケーション結果を出力します。
- 4
証拠を検証する
Exercise a known fixture, then inspect agent_run_completed for one correctly typed terminal row.
始める前に
前提条件と境界
- LlamaIndex と telemetry-sh が信頼できる Python プロセスで初期化される
- アプリケーションが所有する実行 ID と安定したワークフロー、エージェント、インデックス、およびリリースのバージョン
- プロンプト、出力、取得されたノード、ツール引数、およびトレースコンテンツに関するレビュー済みのポリシー
配信設定
サーバー側のインストールと初期化
サーバー側キーを使用して、プロセスごとに 1 回、同期コードの場合は Telemetry を、非同期コードの場合は TelemetryAsync を初期化します。 ブラウザ バンドル、クライアントに表示される環境変数、ソース管理、ログ、および例外メッセージに取り込み資格情報が含まれないようにします。
pipのインストール
python -m pip install telemetry-sh- 1制限されたネットワーク動作を持つ再利用可能なサーバー側配信クライアントを 1 つ準備します。
- 2成功、失敗、再試行、またはタイムアウトの境界に結果イベントを追加します。
- 3アラートを有効にする前に、制御されたフィクスチャを送信し、保存されている行を検査します。
スニペット
1 つの構造化されたイベントから始める
ワークフローが完了、失敗、または再試行される場所にこの図形を追加します。次に、実際のフィールドからダッシュボードを構築します。
LlamaIndex Agent Telemetryイベント
from time import perf_counter
async def run_support_agent(agent, user_message: str, run_id: str):
started_at = perf_counter()
status = "success"
error_type = None
try:
return await agent.run(user_msg=user_message)
except Exception as error:
status = "failed"
error_type = classify_agent_error(error)
raise
finally:
await telemetry.log("agent_run_completed", {
"run_id": run_id,
"workflow": "support_resolution",
"agent_name": "llamaindex_support_agent",
"status": status,
"error_type": error_type,
"duration_ms": round((perf_counter() - started_at) * 1000),
"index_version": INDEX_VERSION,
"prompt_version": PROMPT_VERSION,
"release": APP_RELEASE,
})イベント契約
run_id、ワークフロー、agent_name、model_alias、index_version、prompt_version、リリース
ステータス、duration_ms、tool_call_count、retry_count、human_handoff、および error_type
estimated_cost_usd、承認済み、evaluation_score、evaluator_version、および承認時の環境
実装のチェックポイント
チェックポイント 1
パブリックのagent.runまたはワークフロー境界をラップし、ハンドラーの完了後に1つのターミナル・アプリケーション結果を出力します。
チェックポイント 2
LlamaIndex ワークフロー イベントとインストルメンテーションをステップレベルの検査に使用します。レビュー済みの SQL の質問に必要な集計フィールドのみを Telemetry に送信します。
チェックポイント 3
プロンプト、エージェント メッセージ、取得されたノード、埋め込み、ツール入力、ツール出力、または例外メッセージをイベントにシリアル化しないでください。
検証
イベントが到着したことを証明する
既知の成功例と失敗例を実行した後、これを実行します。最終的なイベント コントラクトがスニペットと異なる場合は、フォールバック テーブル名を置き換えます。
LlamaIndex Agent Telemetry 検証クエリ
SELECT *
FROM agent_run_completed
ORDER BY timestamp_utc DESC
LIMIT 20;実装の参考資料
新しい運用パスを有効にする前に、イベント契約、データ安全性に関するガイダンス、上流の主要ドキュメントを確認してください。
生産境界
結果イベントを小さく、回復可能なものに保つ
このパターンが提供するのは、
- 上流のワークフローの横にある、制限付きの SQL 対応の結果。
- ダッシュボード、アラート、およびイベント間の相関関係の安定したフィールド。
- 成功、失敗、再試行、タイムアウトの動作を検証するためのフィクスチャ駆動のパス。
このパターンでは提供されません
- OTLP エクスポーター、自動収集パイプライン、または詳細なトレースと診断ログの代替。
- ペイロードにイベント ID が含まれているという理由だけで、1 回だけ配信されます。
- 生のプロバイダー ペイロード、ユーザー コンテンツ、資格情報、または規制されたデータを収集する許可。
イベントスキーマの開始点
このワークフローのイベント コントラクト
クエリまたはスニペットを運用環境に適用する前に、行粒度、出力境界、必要なタイプ、プライバシー クラス、サンプル ペイロード、および検証チェックリストを確認してください。
関連製品の機能
このワークフローを続行します AIエージェントの監視
レビュー可能な SQL を使用して、エージェントの実行、ツールの使用、モデルのコスト、品質、製品の結果を結び付けます。
関連する SQL レシピ
SQL で次の質問に答えてください
このワークフローの構造化フィールドに対してクエリを実行し、結果の例を検査して、有用な回答をダッシュボードまたはアラートに変換します。
バージョンごとの RAG 取得品質の評価
新しい RAG パイプラインにより、検索率と根拠のある回答率は向上しましたか?
レシピを開くAI エージェントのタスクの成功と人間による引き継ぎを測定する
どのエージェントのワークフローが正常に終了し、受け入れられた結果をもたらしますか?
レシピを開くネストされた AI ツール呼び出しイベントのクエリ
最も失敗した呼び出しに関連する AI ツールと引数はどれですか?
レシピを開く機能とモデルごとに LLM コストを計算する
LLM の支出を促進しているのはどの製品機能とモデルですか?
レシピを開く実装ファミリーごとに参照する
関連する統合パターンを比較する
この統合と組み合わせるテンプレート
さらなる統合
マストラエージェント Telemetry
Mastra エージェントとワークフローの結果、ツールのアクティビティ、レイテンシー、再試行、コスト、製品の受け入れ状況を、組み込みのトレースと評価とともに追跡します。
オープンガイドOpenAI エージェント Telemetry
OpenAI エージェントの実行、ツール呼び出し、モデルの使用状況、レイテンシー、コスト、および構造化イベントによる最終結果をログに記録します。
オープンガイドLangGraph エージェントの可観測性
LangGraph の実行結果、ノードとツールの障害、再試行、チェックポイント、人間によるハンドオフ、遅延、レビューされたタスクの品質を測定します。
オープンガイド