跳转到内容
集成指南

Sidekiq 作业 Telemetry

记录 Sidekiq 作业代码块的结果和耗时,不改变工作进程的结果,也不复制作业参数。

审阅者 Telemetry产品团队 上 . 我们检查了要发送的事件、要排除的数据和代码添加方法. 谁负责审核此页面

有用于
  • Sidekiq 重试监控
  • 作业执行耗时
  • 后台作业可靠性
实施证据

使用 Sidekiq job telemetry 发送并验证事件

在受控应用程序边界使用 Sidekiq job telemetry,保持事件契约较小,并在构建聚合视图之前验证已知结果。

  1. 1

    选择结果

    Sidekiq 重试监控

  2. 2

    定义合同

    job_id、job_name、queue_name、attempt、status、duration_ms 和 release

  3. 3

    在结果处发出

    初始化文件注册服务端中间件。同一逻辑 jid 在 Sidekiq 重试间保持不变;首次尝试为 1,retry_count 为 0 表示第 2 次尝试。无效的重试元数据保留为未知。

  4. 4

    核实证据

    Exercise a known fixture, then inspect job_attempt_completed for one correctly typed terminal row.

开始之前

开始之前

  • 具有写入权限的服务端 TELEMETRY_API_KEY
  • 将此示例放入 config/initializers/telemetry_sidekiq.rb,每个工作进程加载一次
  • 具有 Sidekiq::ServerMiddleware 的 Sidekiq 7 或更高版本

交货设置

安装并初始化服务器端

使用带有服务器端密钥以及显式打开和读取超时的小型 Net::HTTP 包装器。 将摄取凭据保留在浏览器包、客户端可见的环境变量、源代码控制、日志和异常消息之外。

  1. 1准备一个具有有限网络行为的可重用服务器端交付客户端。
  2. 2在成功、失败、重试或超时边界处添加结果事件。
  3. 3在启用警报之前发送受控装置并检查存储的行。

片段

从一个结构化事件开始

在工作流程完成、失败或重试的位置添加此形状。然后从真实的字段构建仪表板。

sidekiq

Sidekiq job telemetry事件

ruby
# config/initializers/telemetry_sidekiq.rb
require "sidekiq"
require "json"
require "net/http"
require "uri"

module TelemetrySidekiqAttempts
  def self.delivery_failed
    warn "Telemetry job event delivery failed."
  rescue StandardError
    # A broken diagnostic sink must not change the job outcome.
  end

  def self.log(fields)
    key = ENV["TELEMETRY_API_KEY"]
    return if key.nil? || key.empty?

    uri = URI("https://api.telemetry.sh/log")
    request = Net::HTTP::Post.new(uri)
    request["Authorization"] = key
    request["Content-Type"] = "application/json"
    request.body = { table: "job_attempt_completed", data: fields }.to_json
    http = Net::HTTP.new(uri.host, uri.port)
    http.use_ssl = true
    http.open_timeout = 1
    http.read_timeout = 1
    http.write_timeout = 1
    http.max_retries = 0
    response = http.start { |client| client.request(request) }
    delivery_failed unless response.is_a?(Net::HTTPSuccess)
  rescue StandardError
    delivery_failed
  end
end

class TelemetryOutcomeMiddleware
  include Sidekiq::ServerMiddleware

  def call(_job_instance, job, queue)
    started = Process.clock_gettime(Process::CLOCK_MONOTONIC)
    status = "not_returned"
    begin
      result = yield
      status = "returned"
      result
    rescue StandardError
      status = "raised"
      raise
    ensure
      begin
        retry_count = job["retry_count"]
        attempt = if !job.key?("retry_count")
          1
        elsif retry_count.is_a?(Integer) && retry_count >= 0
          retry_count + 2
        end
        TelemetrySidekiqAttempts.log({
          job_id: job["jid"],
          job_name: job["class"],
          queue_name: queue,
          attempt: attempt,
          status: status,
          duration_ms: ((Process.clock_gettime(
            Process::CLOCK_MONOTONIC
          ) - started) * 1000).round(2),
          release: ENV["APP_RELEASE"]
        })
      rescue StandardError
        TelemetrySidekiqAttempts.delivery_failed
      end
    end
  end
end

Sidekiq.configure_server do |config|
  config.server_middleware do |chain|
    chain.add TelemetryOutcomeMiddleware
  end
end

事件结构

job_id、job_name、queue_name、attempt、status、duration_ms 和 release

不包含作业参数、结果正文、异常消息或应用账户数据

检查配置

检查站 1

初始化文件注册服务端中间件。同一逻辑 jid 在 Sidekiq 重试间保持不变;首次尝试为 1,retry_count 为 0 表示第 2 次尝试。无效的重试元数据保留为未知。

检查站 2

作业代码块返回并不能证明后续交付成功。StandardError 记录为 raised,并原样重新抛出;其他未返回的退出保持为 not_returned。

检查站 3

此示例不测量队列等待、重试耗尽或 Active Job 独立的重试策略。请在各自经过验证的生命周期钩子中添加这些记录。

检查站 4

耗时采用单调时钟,不包含同步导出时间。导出仍占用工作进程,并增加处理延迟。

检查站 5

传输、非 2xx 响应、编码、元数据和诊断失败均被隔离。缺少密钥时跳过导出,不改变作业结果或原始异常。

检查站 6

连接、读取和写入超时均为一秒,并非严格的总时限。没有导出重试、持久队列或关闭时排空机制;若不能接受丢失,请使用应用自行管理的发件箱。

验证

证明事件已到达

在演练已知的成功和失败案例后运行此命令。如果您的最终事件契约与代码片段不同,请替换后备表名称。

sidekiq-验证

Sidekiq job telemetry 验证查询

sql
SELECT *
FROM job_attempt_completed
ORDER BY timestamp_utc DESC
LIMIT 20;
确认每个逻辑结果的一个终端行,以及预期状态、标识符、单位和 UTC 时间。
检查推断的架构并验证重试不会更改字段类型或生成新的逻辑事件 ID。
在存储的字段中搜索凭据、原始有效负载、提示、私有内容和无限制的错误消息。
在将仪表板视为完整之前,请执行提供程序超时、摄取拒绝和进程关闭。

实施参考

在启用新的生产路径之前,请检查事件合同、数据安全指南和上游主要文档。

在哪里记录事件

保持结果事件小且可恢复

该模式提供了

  • 除了上游工作流程之外,还有一个有界的、SQL 就绪的结果。
  • 用于仪表板、警报和跨事件关联的稳定字段。
  • 用于验证成功、失败、重试和超时行为的夹具驱动路径。

该模式不提供

  • OTLP 导出器、自动收集管道或详细跟踪和诊断日志的替代品。
  • 仅因为有效负载包含事件 ID,所以仅传送一次。
  • 收集原始提供商有效负载、用户内容、凭证或受监管数据的权限。

事件模式示例

在将查询或代码片段适应生产之前,请检查行粒度、发出边界、所需类型、隐私类、示例有效负载和验证清单。

相关产品功能

继续此工作流程 告警

将经过审查的可靠性查询提升到拥有的阈值和响应工作流程中。

相关 SQL 查询示例

更多 SQL 示例

针对此工作流程中的结构化字段运行查询,检查示例结果,并将有用的答案转换为仪表板或警报。

浏览所有查询示例
查询示例合集后台任务 SQL

按实施系列浏览

比较相关集成模式

与此集成配对的模板

更多集成