Google Cloud Pub/Sub Telemetry:从边界到验证行
在受控应用程序边界使用 Google Cloud Pub/Sub Telemetry,保持事件契约较小,并在构建聚合视图之前验证已知结果。
- 1
选择结果
Pub/Sub 交付可靠性
- 2
定义合同
message_id、message_type、主题、订阅、ordering_key_category、发布
- 3
埋点边界
Pub/Sub 可以重新发送消息;将提供商消息 ID 和传送尝试与最终业务结果分开。
- 4
核实证据
Exercise a known fixture, then inspect pubsub_message_completed for one correctly typed terminal row.
开始之前
先决条件和界限
- @google-cloud/pubsub 和 telemetry-sh 在受信任的发布者或订阅者中初始化
- 稳定的主题、订阅、消息类型和逻辑结果定义
- 幂等消费者和记录在案的确认或一次性策略
交货设置
安装并初始化服务器端
在仅服务器代码中导入 telemetry-sh 并使用 process.env.TELEMETRY_API_KEY 对其进行一次初始化。 将摄取凭据保留在浏览器包、客户端可见的环境变量、源代码控制、日志和异常消息之外。
npm安装
npm install telemetry-sh- 1准备一个具有有限网络行为的可重用服务器端交付客户端。
- 2在成功、失败、重试或超时边界处添加结果事件。
- 3在启用警报之前发送受控装置并检查存储的行。
片段
从一个结构化事件开始
在工作流程完成、失败或重试的位置添加此形状。然后从真实的字段构建仪表板。
Google Cloud Pub/Sub Telemetry事件
await telemetry.log("pubsub_message_completed", {
message_id: message.id,
message_type: "account_export",
topic: "account-exports",
subscription: "account-export-worker",
status: "success",
delivery_attempt: message.deliveryAttempt ?? 1,
wait_ms: Date.now() - Number(message.publishTime.getTime()),
duration_ms: Math.round(performance.now() - startedAt),
acknowledged: true,
dead_lettered: false,
service: "export-worker",
release: process.env.APP_RELEASE,
});活动合约
message_id、message_type、主题、订阅、ordering_key_category、发布
状态、delivery_attempt、wait_ms、duration_ms、已确认和 error_type
dead_lettered、published_at、account_id、服务、区域和环境
实施检查点
检查站 1
Pub/Sub 可以重新发送消息;将提供商消息 ID 和传送尝试与最终业务结果分开。
检查站 2
一次性交付具有订阅和区域限制,因此请验证实际配置,而不是从确认调用中推断配置。
检查站 3
除了应用程序结果之外,还要监视提供程序积压指标,并且不要将消息数据、包含私有内容的属性或不受限制的错误复制到事件中。
验证
证明事件已到达
在演练已知的成功和失败案例后运行此命令。如果您的最终事件契约与代码片段不同,请替换后备表名称。
Google Cloud Pub/Sub Telemetry 验证查询
SELECT *
FROM pubsub_message_completed
ORDER BY timestamp_utc DESC
LIMIT 20;实施参考
在启用新的生产路径之前,请检查事件合同、数据安全指南和上游主要文档。
生产边界
保持结果事件小且可恢复
该模式提供了
- 除了上游工作流程之外,还有一个有界的、SQL 就绪的结果。
- 用于仪表板、警报和跨事件关联的稳定字段。
- 用于验证成功、失败、重试和超时行为的夹具驱动路径。
该模式不提供
- OTLP 导出器、自动收集管道或详细跟踪和诊断日志的替代品。
- 仅因为有效负载包含事件 ID,所以仅传送一次。
- 收集原始提供商有效负载、用户内容、凭证或受监管数据的权限。
事件架构起点
此工作流程的事件契约
在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。
相关产品功能
继续此工作流程 告警
将经过审查的可靠性查询提升到拥有的阈值和响应工作流程中。
相关 SQL 查询示例
用 SQL 回答下一个问题
针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。
按实施系列浏览
比较相关集成模式
与此集成配对的模板
更多集成