跳至主要內容
Telemetry
人工智慧品質

rag_retrieval_evaluated 事件圖式

版本化的 RAG 評估事件,可將檢索分數、答案審查、延遲和成本分開,而不儲存源文字、提示或生成的答案。

審閱者 Telemetry產品團隊 . 事件粒度、所有權、欄位型別、隱私分類、範例有效負載和驗證. 審查標準和所有權

問題本合約的答案

哪些檢索和提示版本會產生相關上下文和有根據的可接受答案?

欄位
11
必填
10
合約證據路徑

rag_retrieval_evaluated:從擁有邊界到可信查詢

將 rag_retrieval_evaluated 視為持久的分析合約:所有者發出一個記錄的穀物,一個固定裝置證明欄位,並且經過審查的查詢回答所述問題。

  1. 1

    結果成為最終結果

    RAG evaluation pipeline emits only after the retrieval and answer evaluators finish or the candidate becomes ineligible.

  2. 2

    合約是有約束力的

    10 required fields preserve the declared grain: One evaluator result per eligible query, retrieval version, evaluator, and candidate run.

  3. 3

    夾具已驗證

    檢查型別、UTC 時間、替代結果、冪等性以及每個假名或評論分類欄位。

  4. 4

    問題得到解答

    哪些檢索和提示版本會產生相關上下文和有根據的可接受答案?

穀物

每個符合條件的查詢、檢索版本、評估器和候選執行一個評估器結果。

業主

RAG 評估流程

何時發出

檢索及答題結束後,或考生取消資格。

現場合約

具有明確隱私邊界的型別化欄位

在生產查詢依賴現有欄位名稱和型別後,保持現有欄位名稱和型別穩定。可選上下文應受到特定決策的限制、記錄和證明。

欄位型別必填隱私含義
timestamp_utctimestampyesnon-sensitive結果邊界處的 UTC 時間。
event_idstringyesnon-sensitive用於重複資料刪除的穩定唯一識別符號。
releasestringyesnon-sensitive發出事件的應用程式或服務版本。
account_idstringyespseudonymous穩定的內部帳戶識別符號,絕不是電子郵件或姓名。
evaluation_idstringyespseudonymous評估案例的穩定識別符號。
retrieval_versionstringyesnon-sensitive索引、檢索器和排名合約的版本。
evaluator_versionstringyesnon-sensitive版本化評估器和標題識別符號。
retrieval_scorenumberyesnon-sensitive標準化檢索相關性得分。
groundedbooleanyesnon-sensitive審查後的答案是否符合基本規則。
acceptedbooleannonon-sensitive審查下游驗收(如果有)。
duration_msnumberyesnon-sensitive端到端評估工作流程持續時間。

合成 JSON 事件

{
  "timestamp_utc": "2026-07-29T10:12:43Z",
  "event_id": "evt_rag_eval_01",
  "account_id": "acct_8f31",
  "release": "2026.07.3",
  "evaluation_id": "eval_72ab",
  "retrieval_version": "hybrid_v4",
  "evaluator_version": "grounding_rubric_v2",
  "retrieval_score": 0.86,
  "grounded": true,
  "accepted": true,
  "duration_ms": 1280
}

隱私審查

攝取前檢查識別符號

此範例使用合成識別符號。假名值仍然可以是個人資料,並且審查欄位可以公開業務或提供商上下文。應用您自己的同意、保留、存取、居住和刪除要求。

  • account_id: pseudonymous
  • evaluation_id: pseudonymous

驗證清單

在建置儀表板之前證明合約

  • Send one known rag_retrieval_evaluated fixture after the documented outcome boundary.
  • Verify all 10 required fields arrive with the documented types.
  • 重試相同的事件識別符號並確認所選的重複資料刪除行為。
  • 當工作流程支援時,傳送受控失敗或替代結果。
  • 在固定視窗上執行相關 SQL 並將結果與固定裝置進行協調。

常見錯誤

保持一行等於一個持久結果

  • Emitting rag_retrieval_evaluated before rag evaluation pipeline knows the final outcome.
  • 在一張資料表中混合多種穀物,這使得計數和比率不明確。
  • 用原始 URL、有效負載、提示或錯誤文字替換受控類別。
  • 儲存查詢和儀表板依賴於它後就地更改欄位型別。
  • 新增識別符號,無需記錄調查、存取和保留需求。

使用合約

查詢並操作事件

相關合約

在生產流量之前傳送夾具

建立免費的 API 金鑰、傳送合成事件並在連線即時工作流程之前檢查推斷資料表。

測試這個模式