遥测成本与数据量管理
Telemetry 卷有几个不同的驱动因素:事件频率、序列化负载大小、保留、查询扫描模式、导出以及不同维度值的数量。没有一个字节总数是完整的供应商账单,但测量这些输入可以使浪费和有风险的收集更改更容易审查。
首先衡量事件契约
在摄取时,记录一个紧凑的操作事件,其中包含受控事件名称、有界生产者源、序列化有效负载字节、模式版本、接受结果和环境。不要将原始有效负载复制到测量事件中。
遥测量SQL配方 按事件契约对计数和有效负载字节进行分组。它还计算平均事件大小和拒绝率。这可以将高频小事件与低频超大事件区分开来,并防止因默默降低数据质量而导致成本变化。
序列化字节与压缩存储、扫描字节、网络出口或发票成本不同。在预测资金之前,将汇总数据与您的实际保留率和定价模型联系起来。
回顾基数和有用性
如果原始 URL、请求 ID、错误消息或用户生成的标签等字段成为分组维度,小事件仍然可能会创建不可用的仪表板。遵循 高基数字段指南 并保留用于有针对性的向下钻取的标识符,而不是默认图表。
对于每份大型合同,记录:
- 它支持的决策、仪表板、告警或调查。
- 必填字段和可删除或分类的字段。
- 生产抽样规则和抽样应避免的问题。
- 保留和删除要求。
- 检查架构和卷更改的所有者。
安全地更改集合
从开发噪音、意外重复和没有读者的字段开始。在减少生产数据之前测试模式更改和拒绝行为。推出后比较完整的每日存储桶,这样流量变化就不会被误认为是仪器的胜利。
使用 数据质量配方收集 在更改数量时监控新鲜度、重复项、空字段和架构采用情况。 数据保留指南 涵盖了应与查询优化分开的策略和删除决策。