イベント契約
クエリが期待するフィールド
| フィールド | 種類 | なぜ存在するのか |
|---|---|---|
| timestamp_utc | Timestamp | UTC での評価完了時間。 |
| pipeline_version | Utf8 | バージョン管理された取得者、インデックス、およびプロンプトの構成。 |
| test_case_id | Utf8 | 安定した評価ケースの識別子。 |
| relevant_document_retrieved | Boolean | 検索関連性の結果をレビューしました。 |
| answer_grounded | Boolean | 根拠のある回答結果をレビューしました。 |
| retrieval_latency_ms | Int64 | 取得段階の遅延 (ミリ秒単位)。 |
| cost_usd | Float64 | バージョン化された推定評価コスト (USD)。 |
| environment | Utf8 | 評価環境または実稼働環境。 |
クエリをコピーする
SELECT
pipeline_version,
COUNT(*) AS test_cases,
100.0 * SUM(CASE WHEN relevant_document_retrieved THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS retrieval_relevance_pct,
100.0 * SUM(CASE WHEN answer_grounded THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS grounded_answer_pct,
AVG(retrieval_latency_ms) AS avg_retrieval_latency_ms,
SUM(cost_usd) AS evaluation_cost_usd
FROM rag_evaluation_events
WHERE timestamp_utc >= now() - INTERVAL '30 days'
AND environment = 'evaluation'
GROUP BY pipeline_version
ORDER BY grounded_answer_pct DESC, retrieval_relevance_pct DESC, pipeline_version;この読み取り専用クエリは、空の型付きテーブルに対して計画され、実行されます。 アパッチ DataFusion 45.2.0。決定論的なサンプル出力は合成され、個別にレビューされます。フィールド タイプ、しきい値、ビジネス定義を独自のデータと照合して検証します。 テスト方法を読んでください。
クエリ結果
RAG の回収とグラウンディングの結果
バージョン 2 では、合成評価セットの両方のレビュー率が向上しますが、コストは若干高くなります。
| pipeline_version | test_cases | retrieval_relevance_pct | grounded_answer_pct | avg_retrieval_latency_ms | evaluation_cost_usd |
|---|---|---|---|---|---|
| rag-v2 | 4 | 75 | 75 | 95 | 0.05 |
| rag-v1 | 4 | 50 | 50 | 120 | 0.04 |
合成出力例。運用上の決定に使用する前に、独自のイベント スキーマとしきい値に対してクエリを実行します。
例を再現する
パブリックフィクスチャをダウンロードする
JSON バンドルには、型付きイベント コントラクトが含まれています。 reproducible 入力行、正確な SQL、予想される出力、レビューメモ、およびエンジンのバージョン。 CSV には、表示された結果が含まれます。
SQL の仕組み
- 1パイプライン バージョンでは、テストに使用される取得者、インデックス スナップショット、リランカー、および回答プロンプトを識別する必要があります。
- 2適切な文書であってもサポートされていない回答が生成される可能性があるため、検索の関連性と回答の根拠は分離されたままになります。
- 3レイテンシとコストにより、品質の比較が生産上の制約に結びつきます。
決定すべきエッジケース
- パイプライン間で同じバージョン管理されたテスト ケースを使用し、新しく追加または削除されたケースをレポートします。
- 人間およびモデルベースの採点者には、文書化されたルーブリック、校正、および意見の相違のレビューが必要です。
- デフォルトでは、プライベートなソースの一節や生の回答を一般テレメトリに保存しないでください。
推奨されるダッシュボード
- 積み上げバー: バージョン別の retrieval_relevance_pct および grounded_answer_pct
- 傾向: テストセットの変化に伴う評価結果
- 表: レイテンシー、コスト、テスト数、採点者のバージョン
レシピを活用する
関連する機器とガイド
ソースデータを定義する
この分析のイベント スキーマ
分析を続ける
実際のイベントで実行する
テーブルを作成し、フィールドを調整して、結果を保存します
無料で始めて、構造化されたイベントを送信し、クエリ結果をグラフ、共有ダッシュボード ウィジェット、またはアラート入力として使用します。