遙測成本與資料量管理
Telemetry 卷有幾個不同的驅動因素:事件頻率、序列化負載大小、保留、查詢掃描模式、匯出以及不同維度值的數量。沒有一個位元組總數是完整的供應商賬單,但測量這些輸入可以使浪費和有風險的收集更改更容易審查。
首先衡量事件契約
在攝取時,記錄一個緊湊的操作事件,其中包含受控事件名稱、有界生產者源、序列化有效負載位元組、模式版本、接受結果和環境。不要將原始有效負載複製到測量事件中。
遙測量SQL配方 按事件契約對計數和有效負載位元組進行分組。它還計算平均事件大小和拒絕率。這可以將高頻小事件與低頻超大事件區分開來,並防止因默默降低資料品質而導致成本變化。
序列化位元組與壓縮儲存、掃描位元組、網路出口或發票成本不同。在預測資金之前,將彙總資料與您的實際保留率和定價模型聯絡起來。
回顧基數和有用性
如果原始 URL、請求 ID、錯誤訊息或使用者生成的標籤等欄位成為分組維度,小事件仍然可能會建立不可用的儀表板。遵循 高基數字段指南 並保留用於有針對性的向下鑽取的識別符號,而不是預設圖表。
對於每份大型合約,記錄:
- 它支援的決策、儀表板、警示或調查。
- 必填欄位和可刪除或分類的欄位。
- 生產抽樣規則和抽樣應避免的問題。
- 保留和刪除要求。
- 檢查架構和卷更改的所有者。
安全地更改集合
從開發噪音、意外重複和沒有讀者的欄位開始。在減少生產資料之前測試模式更改和拒絕行為。推出後比較完整的每日儲存桶,這樣流量變化就不會被誤認為是儀器的勝利。
使用 資料品質配方收集 在更改數量時監控新鮮度、重複項、空欄位和架構採用情況。 資料保留指南 涵蓋了應與查詢最佳化分開的策略和刪除決策。