1. イベント契約
1行 agent_run_outcomes、クエリで使用される型が明示的に示されています。
- timestamp_utc
- Timestamp
- workflow
- Utf8
- model
- Utf8
- status
- Utf8
- reviewer_outcome
- Utf8
- human_handoff
- Boolean
仕組み
シグナルから意思決定までのレビュー可能なワークフロー
1
最終的な結果を定義する
完了したエージェントの実行またはビジネス操作ごとに 1 行を選択します。ステータス、期間、ワークフロー、リリース、ハンドオフ、コスト、および安全な相関識別子を記録します。
2
有用なコンポーネント イベントのみを追加する
ツールとモデルが既知の信頼性、コスト、または品質に関する質問に回答したときのイベントをログに記録します。トレース全体や機密ペイロードをコピーしないでください。
3
値を使用した結合操作
承認、人間によるレビュー、タスクの成功、またはその他の明示的な製品の結果を記録し、レビューされた SQL と完全な分母を持つリリースを比較します。
Telemetry の AI エージェント結果イベント
エージェントの実行、ツール呼び出し、ターミナルの結果を検査するために使用されるイベント テーブルと SQL サーフェスを示す実際の Telemetry ワークスペース。
境界線
これが置き換えられないもの
- Telemetry は、OTLP を取り込んだり、分散トレース ウォーターフォールを提供したりしません。 OpenTelemetry トレースを OTLP 互換バックエンドに保持し、選択した結果イベントを安全なトレースまたは実行 ID と関連付けます。
- Telemetry は、専用の LLM トレース製品として、プロンプト、入力完了、取得したドキュメント、またはツール引数を保存および再生しません。承認された境界付きフィールドのみを送信します。
- Telemetry は、組み込みのプロンプト管理、評価データセット、実験、またはスコアラーの実行を提供しません。これらのワークフローが必要な場合は、専門の評価プラットフォームを維持してください。
検査可能な証明パス
イベント契約から目に見える答えまで
この例では、宣言されたスキーマ、読み取り専用の SQL、および決定論的な合成結果を使用します。顧客のベンチマークとしてサンプル データを提示せずにワークフローを示します。
2. 読み取り専用 SQL
どのエージェントのワークフローが正常に終了し、受け入れられた結果をもたらしますか?
SELECT
workflow,
model,
COUNT(*) AS runs,
100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
/ NULLIF(SUM(CASE
WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
END), 0) AS reviewed_acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
AVG(duration_ms) AS average_duration_ms,
SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;3. 合成結果
払い戻しのレビューは技術的には完了しますが、他のワークフローよりも大幅に多くの修正や人間による引き継ぎが必要です。
| ワークフロー | model | runs |
|---|---|---|
| support_triage | configured-model-a | 1840 |
| refund_review | configured-model-b | 620 |
| knowledge_draft | configured-model-a | 940 |
能力
含まれるもの
エージェントの実行、モデルのリクエスト、ツールの呼び出し、評価、製品の結果の名前付きイベント テーブル
安定した実行、操作、トレース、アカウント、プロンプト バージョン、エバリュエーター バージョン、およびリリースのフィールド
DataFusion SQL (成功率、p95 期間、承認された結果ごとのコスト、ツール ループ、品質回帰)
同じレビューされたクエリから構築されたダッシュボードとしきい値アラート
エージェント フレームワーク、モデル プロバイダー、OpenTelemetry、および MCP ツールの統合ガイド
エージェント固有のセットアップ パス
ワークフローにすでに存在するコーディング エージェントから開始します
から始めます エージェント テレメトリ skill.md ガイド、次に、同じレビューされたテレメトリ境界を、焦点を当てた Claude Code、Cursor、または Codex 実装パスに運びます。
分析を見る
この機能を使用する SQL レシピ
AI エージェントのタスクの成功と人間による引き継ぎを測定する
エージェントのタスクの成功、レビュー担当者の承認、コスト、待ち時間、人による引き継ぎ率をワークフローとモデルごとに比較します。
レシピを開く相関のあるワークフローのタイムラインを再構築する
共有ワークフロー識別子から、順序付けられたサービス間ワークフロー ステップと経過時間を再構築します。
レシピを開く繰り返しを検出する AI エージェント ツール Loops
成功した結果に達することなく、小規模なツール セットを繰り返し呼び出すエージェントの実行を見つけます。
レシピを開く1 ドルあたりの受け入れられた AI 出力を測定する
モデルの支出を、受け入れられた、保存された、またはその他の有用な製品の成果に結び付けます。
レシピを開く機能とモデルごとに LLM コストを計算する
モデルの支出、トークン、リクエスト量、リクエストあたりのコストを製品機能に関連付けます。
レシピを開くネストされた AI ツール呼び出しイベントのクエリ
元のイベント ペイロードを平坦化することなく、点線でネストされたフィールドをフィルターし、失敗したツールをランク付けします。
レシピを開く顧客の証拠
チームがこのワークフローを使用する方法
関連する機能
イベントから意思決定までのワークフローを継続する
1 つの制作ワークフローから始める
対象範囲を拡大する前に、焦点を絞ったプロンプトを使用し、合成イベントを送信し、最初の有用なクエリを検証します。