Telemetry data quality monitoring with SQL:从实施到决策
完整的 telemetry data quality monitoring with sql 测量循环连接一个拥有的工作流程、一个有界事件契约、一个受控装置和一个有人可以采取行动的问题。
- 1
设定边界
盘点支持面向客户、收入、可靠性或合规性决策的事件表。
- 2
捕捉结果
Begin with event_contract_checked, ingestion_freshness_sampled, duplicate_event_observed and document the grain/each event.
- 3
证明行数
仅在所有者检查阈值、排除和预期恢复行为后才发布质量查询和警报。
- 4
做出决定
哪些关键事件流过时、不完整、重复或类型发生变化?
范围和邻近用例
选择此页面以获得正确的测量边界
- 使用此页面来验证遥测本身:新鲜度、必填字段、类型、重复项、版本和数量。
- 当源事件可信且应用程序工作流程可能出现故障时,请使用操作监控页面。
- 使用事件跟踪计划模板来获取简明的实施简介;本指南涵盖了正在进行的质量控制计划。
代理提示
将其粘贴到您的编码代理中
更换 YOUR_API_KEY 注册后,然后要求智能体运行产品流程并验证第一个事件。
Telemetry data quality monitoring with SQL 设置提示
使用 Telemetry 添加遥测数据质量监控。
使用 /skill.md 和此 Telemetry API 密钥:YOUR_API_KEY
对于每个 decision 关键事件表,记录事件粒度、owner、必填字段、字段类型、时间戳 unit、允许值、schema_version、重复键、预期到达延迟和预期每日交易量范围。
为有效事件、缺少必填字段、重复事件 ID、迟到和不兼容的字段类型创建确定性固定装置。构建 SQL,以获取新鲜度、必填字段空率、重复事件率、架构版本采用率、延迟到达率以及按事件名称和发布的数量变化。
仅针对具有最小样本量和所有者的持续违规行为添加警报。包括从每个警报到合同和验证查询的链接。
请勿将生产负载、凭证、个人数据或不受限制的错误文本放置在质量测试事件中。设置步骤
- 1盘点支持面向客户、收入、可靠性或合规性决策的事件表。
- 2为每个合同定义粒度、必填字段、类型、单位、允许值、延迟和重复策略。
- 3发送有效、缺失、重复、延迟和不兼容事件的确定性赛程。
- 4仅在所有者检查阈值、排除和预期恢复行为后才发布质量查询和警报。
要捕获的事件
由此解锁的问题
- 哪些关键事件流过时、不完整、重复或类型发生变化?
- 当前流量使用批准的架构版本的百分比是多少?
- 在仪表板更改之前,版本是否更改了事件量或必填字段的完整性?
事件模式示例
此工作流的事件模式
在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 结构化事件
捕获稳定的事件名称、键入的字段和经过隐私审查的操作上下文。
相关 SQL 查询示例
更多 SQL 示例
针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。
测量事件摄取新鲜度
哪些生产事件源现在已过时或已延迟?
打开查询示例测量必填字段空率
哪些事件名称的帐户标识符丢失率不可接受?
打开查询示例查找重复的事件 ID
哪些事件 ID 被多次接收?
打开查询示例Catch event-field renames that hide rows from averages
Did a field rename make the duration average ignore completed jobs?
打开查询示例跟踪事件架构版本采用情况
哪些生产者仍然发布关键事件的旧版本?
打开查询示例测量迟到事件
哪些事件生产者提供数据的时间足够晚以至于扭曲了分析?
打开查询示例按事件名称测量 Telemetry 音量
哪些事件合约创造了最大的摄取量?
打开查询示例客户案例
相关客户案例
相关页面