遥测成本与数据量管理
计费衡量所有工作节点实际使用的 CPU 时间,而非经过的时间:8 个忙碌的 CPU 运行 10 秒消耗 80 CPU 秒。等待不计费。每个已完成分片及协调节点自身的工作各计一次。即使整体请求失败,已完成分片仍可能计费;重试可能增加用量。新记录没有 300 ms 最低计费。Free 每月含 1 CPU 小时,Business 含 10,Enterprise 含 100;付费超额部分每 CPU 小时 $0.30。我们按实际工作而非等待造成的缓慢收费。并行执行不保证费用更低。
CPU billing: full details (English)
要了解遥测成本,需要衡量事件频率、载荷大小、保留时间、查询扫描的数据量、导出量以及字段的不同取值数量。仅凭总字节数无法解释供应商账单。在减少采集之前检查这些指标,确定会失去哪些数据,以及可能降低哪些成本。
首先衡量事件契约
在摄取时,记录一个紧凑的操作事件,其中包含受控事件名称、有界生产者源、序列化有效负载字节、模式版本、接受结果和环境。不要将原始有效负载复制到测量事件中。
遥测量SQL配方 按事件契约对计数和有效负载字节进行分组。它还计算平均事件大小和拒绝率。这可以将高频小事件与低频超大事件区分开来,并防止因默默降低数据质量而导致成本变化。
序列化字节与压缩存储、扫描字节、网络出口或发票成本不同。在预测资金之前,将汇总数据与您的实际保留率和定价模型联系起来。
回顾基数和有用性
如果原始 URL、请求 ID、错误消息或用户生成的标签等字段成为分组维度,小事件仍然可能会创建不可用的仪表板。遵循 高基数字段指南 并保留用于有针对性的向下钻取的标识符,而不是默认图表。
对于每份大型合同,记录:
- 它支持的决策、仪表板、告警或调查。
- 必填字段和可删除或分类的字段。
- 生产抽样规则和抽样应避免的问题。
- 保留和删除要求。
- 检查架构和卷更改的所有者。
安全地更改集合
从开发噪音、意外重复和没有读者的字段开始。在减少生产数据之前测试模式更改和拒绝行为。推出后比较完整的每日存储桶,这样流量变化就不会被误认为是仪器的胜利。
使用 数据质量配方收集 在更改数量时监控新鲜度、重复项、空字段和架构采用情况。 数据保留指南 涵盖了应与查询优化分开的策略和删除决策。