告警传送和故障排除
告警有四个独立的部分:查询、评估点、阈值状态和通知传递。按该顺序检查它们,以便电子邮件问题不会与未返回合格数据的查询混淆。
流程示意图:根据已运行并审核的结果创建告警,然后分别排查评估阶段与投递阶段的问题。
手动验证查询
打开保存的 Explore 或 SQL 查询并运行告警使用的相同时间范围。确认当告警评估一个系列时,它返回一个数值和一个按时间顺序排列的时间戳列。
使用完整的桶。最新的点可能仍在变化,因此当部分填充的存储桶可能超过阈值时,启用忽略最后一个数据点。
验证条件
检查:
- 聚合,例如平均值、最大值、总和或 p95
- 最近点数
- 比较运算符
- 阈值和单位
- 评价区间
- 查询中的最小流量或分母保障
错误率告警应在计算百分比之前返回失败和请求。延迟告警应说明该值是毫秒还是秒。
检查评估历史记录
打开告警详细信息页面并查看最近的评估状态和事件。区分:
- 没有返回数据
- 查询执行失败
- 已评估但未违反的分数
- 检测到违规
- 尝试发送通知
如果查询失败,请在查询工作区中运行它并检查表名称、字段类型、SQL 兼容性和配置的时间戳列。
检查收件人和电子邮件传送
确认收件人地址是最新的且不包含空格或复制粘贴内容。检查垃圾邮件过滤并允许来自配置的 Telemetry 发件人的邮件。在设置过程中使用受控测试阈值,然后在确认交付后恢复生产阈值。
不要仅仅为了测试而反复降低生产告警阈值。当寻呼或收入工作流程可能受到影响时,克隆或暂时隔离测试。
安全降低噪音
在通知之前需要多个完整点、最小数量或绝对影响阈值。将信息生命周期变更发送至预定审核;保留针对情况的立即告警,并有明确的所有者和响应。