跳转到内容
集成指南

BullMQ 队列监控

使用 SQL 就绪生命周期事件测量 BullMQ 队列等待、执行持续时间、重试、失败和死信增长。

审阅者 Telemetry产品团队 上 . 我们检查了要发送的事件、要排除的数据和代码添加方法. 谁负责审核此页面

有用于
  • BullMQ 工人健康状况
  • Redis 队列延迟
  • 死信监控
实施证据

使用 BullMQ queue monitoring 发送并验证事件

在受控应用程序边界使用 BullMQ queue monitoring,保持事件契约较小,并在构建聚合视图之前验证已知结果。

  1. 1

    选择结果

    BullMQ 工人健康状况

  2. 2

    定义合同

    job_id、job_name、queue_name 和状态

  3. 3

    在结果处发出

    保留原始 attemptsMade 计数器;确认所用 BullMQ 版本中该计数器的含义。

  4. 4

    核实证据

    Exercise a known fixture, then inspect job_completed for one correctly typed terminal row.

开始之前

开始之前

  • 服务器端TELEMETRY_API_KEY
  • 稳定的作业名称和队列名称
  • 重试时保留作业时间戳

交货设置

安装并初始化服务器端

在仅服务器代码中导入 telemetry-sh 并使用 process.env.TELEMETRY_API_KEY 对其进行一次初始化。 将摄取凭据保留在浏览器包、客户端可见的环境变量、源代码控制、日志和异常消息之外。

bullmq-安装

npm安装

bash
npm install telemetry-sh
  1. 1准备一个具有有限网络行为的可重用服务器端交付客户端。
  2. 2在成功、失败、重试或超时边界处添加结果事件。
  3. 3在启用警报之前发送受控装置并检查存储的行。

片段

从一个结构化事件开始

在工作流程完成、失败或重试的位置添加此形状。然后从真实的字段构建仪表板。

bullmq

BullMQ queue monitoring事件

javascript
worker.on("completed", async (job, result) => {
  try {
    await telemetry.log("job_completed", {
      job_id: String(job.id),
      job_name: job.name,
      queue_name: worker.name,
      status: "success",
      attempts_made: job.attemptsMade,
      enqueue_to_last_start_ms: job.processedOn - job.timestamp,
      duration_ms: job.finishedOn - job.processedOn,
      item_count: result?.itemCount,
    });
  } catch {
    // Keep observer delivery failure out of the completed job.
    try {
      console.warn("Telemetry completion-event delivery failed");
    } catch {}
  }
});

事件结构

job_id、job_name、queue_name 和状态

attempts_made、enqueue_to_last_start_ms、duration_ms 和 error_type

item_count、worker_name,并释放

检查配置

检查站 1

保留原始 attemptsMade 计数器;确认所用 BullMQ 版本中该计数器的含义。

检查站 2

从入队到最后一次开始的时间包含之前的尝试和退避等待,并非单纯的队列等待时间。

检查站 3

此 worker 本地钩子只观察成功完成的作业。捕获发送错误,并规划关闭时如何等待待发送事件。

检查站 4

切勿批量记录 job.data,因为它通常包含客户负载。

验证

证明事件已到达

在演练已知的成功和失败案例后运行此命令。如果您的最终事件契约与代码片段不同,请替换后备表名称。

bullmq-验证

BullMQ queue monitoring 验证查询

sql
SELECT *
FROM job_completed
ORDER BY timestamp_utc DESC
LIMIT 20;
确认每个逻辑结果的一个终端行,以及预期状态、标识符、单位和 UTC 时间。
检查推断的架构并验证重试不会更改字段类型或生成新的逻辑事件 ID。
在存储的字段中搜索凭据、原始有效负载、提示、私有内容和无限制的错误消息。
在将仪表板视为完整之前,请执行提供程序超时、摄取拒绝和进程关闭。

实施参考

在启用新的生产路径之前,请检查事件合同、数据安全指南和上游主要文档。

在哪里记录事件

保持结果事件小且可恢复

该模式提供了

  • 除了上游工作流程之外,还有一个有界的、SQL 就绪的结果。
  • 用于仪表板、警报和跨事件关联的稳定字段。
  • 用于验证成功、失败、重试和超时行为的夹具驱动路径。

该模式不提供

  • OTLP 导出器、自动收集管道或详细跟踪和诊断日志的替代品。
  • 仅因为有效负载包含事件 ID,所以仅传送一次。
  • 收集原始提供商有效负载、用户内容、凭证或受监管数据的权限。

事件模式示例

在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。

相关产品功能

继续此工作流程 告警

将经过审查的可靠性查询提升到拥有的阈值和响应工作流程中。

相关 SQL 查询示例

更多 SQL 示例

针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。

浏览所有查询示例
查询示例合集后台任务 SQL

按实施系列浏览

比较相关集成模式

与此集成配对的模板

更多集成