rag_retrieval_evaluated: 所有境界から信頼できるクエリへ
rag_retrieval_evaluated を永続的な分析コントラクトとして扱います。所有者は文書化された 1 つの穀物を放出し、備品は畑を証明し、レビューされたクエリは指定された質問に答えます。
- 1
結果が最終的になる
RAG evaluation pipeline emits only after the retrieval and answer evaluators finish or the candidate becomes ineligible.
- 2
契約には制限がある
10 required fields preserve the declared grain: One evaluator result per eligible query, retrieval version, evaluator, and candidate run.
- 3
治具が検証されました
タイプ、UTC 時間、代替結果、冪等性、およびすべての仮名フィールドまたはレビュー分類フィールドをチェックします。
- 4
質問が解決されました
関連するコンテキストと根拠のある受け入れられた回答を生成する検索バージョンとプロンプト バージョンはどれですか?
穀物
適格なクエリ、取得バージョン、評価者、および候補実行ごとに 1 つの評価結果。
オーナー
RAG評価パイプライン
いつ発行するか
検索と回答の評価が終了するか、候補者が資格を失った後。
フィールド契約
明示的なプライバシー境界を持つ型付きフィールド
運用クエリが既存のフィールド名とタイプに依存した後も、既存のフィールド名とタイプを安定した状態に保ちます。オプションのコンテキストは、特定の決定によって制限され、文書化され、正当化されたままにする必要があります。
| フィールド | 種類 | 必須 | プライバシー | 意味 |
|---|---|---|---|---|
| timestamp_utc | timestamp | yes | non-sensitive | 結果境界の UTC 時間。 |
| event_id | string | yes | non-sensitive | 重複排除に使用される安定した一意の識別子。 |
| release | string | yes | non-sensitive | イベントを発行したアプリケーションまたはサービスのバージョン。 |
| account_id | string | yes | pseudonymous | 安定した内部アカウント識別子。電子メールや名前ではありません。 |
| evaluation_id | string | yes | pseudonymous | 評価ケースの安定した識別子。 |
| retrieval_version | string | yes | non-sensitive | インデックス、レトリーバー、およびランキング コントラクトのバージョン。 |
| evaluator_version | string | yes | non-sensitive | バージョン管理された評価者とルーブリック識別子。 |
| retrieval_score | number | yes | non-sensitive | 正規化された検索関連性スコア。 |
| grounded | boolean | yes | non-sensitive | レビューされた回答が根拠ルールを満たしているかどうか。 |
| accepted | boolean | no | non-sensitive | 利用可能な場合は、下流での受け入れを確認します。 |
| duration_ms | number | yes | non-sensitive | エンドツーエンドで評価されたワークフローの期間。 |
合成 JSON イベント
{
"timestamp_utc": "2026-07-29T10:12:43Z",
"event_id": "evt_rag_eval_01",
"account_id": "acct_8f31",
"release": "2026.07.3",
"evaluation_id": "eval_72ab",
"retrieval_version": "hybrid_v4",
"evaluator_version": "grounding_rubric_v2",
"retrieval_score": 0.86,
"grounded": true,
"accepted": true,
"duration_ms": 1280
}プライバシーのレビュー
取り込む前に識別子を確認する
この例では合成識別子を使用します。仮名の値も個人データである可能性があり、レビュー フィールドによってビジネスまたはプロバイダーのコンテキストが公開される可能性があります。独自の同意、保持、アクセス、常駐、および削除の要件を適用します。
account_id: pseudonymousevaluation_id: pseudonymous
検証チェックリスト
ダッシュボードを構築する前に契約を証明する
- Send one known rag_retrieval_evaluated fixture after the documented outcome boundary.
- Verify all 10 required fields arrive with the documented types.
- 同じイベント識別子を再試行し、選択した重複排除動作を確認します。
- ワークフローがサポートしている場合は、制御された失敗または代替結果を送信します。
- 関連する SQL を固定ウィンドウで実行し、結果をフィクスチャと照合します。
よくある間違い
1 つの行を 1 つの永続的な結果と等しく保つ
- Emitting rag_retrieval_evaluated before rag evaluation pipeline knows the final outcome.
- 1 つのテーブルに複数の穀物を混ぜると、個数と割合が曖昧になります。
- 制御されたカテゴリを生の URL、ペイロード、プロンプト、またはエラー テキストに置き換えます。
- 保存されたクエリとダッシュボードがフィールド タイプに依存した後、その場でフィールド タイプを変更します。
- 文書化された調査、アクセス、保持の必要がない識別子の追加。
契約書を利用する
イベントをクエリして操作可能にする
関連契約
本番トラフィックの前にフィクスチャを送信する
ライブ ワークフローに接続する前に、無料の API キーを作成し、合成イベントを送信し、推論されたテーブルを検査します。