如何在 nodejs 中使用 prometheus 跟踪零星数据？

Question

我在 nodejs 中使用prom-client 来发布/metrics 端点。我想监控随着时间的推移偶尔发生的不同数量的销售。

在 prometheus 中跟踪零星或不连续指标的最佳方法是什么？现有的指标类型似乎都不合适。

• 用于跟踪单个值 (Gauge) 的基本 prometheus 指标类型面向连续数据（例如 CPU 速度或并发请求）。
• Histogram 指标可以捕获不连续的数据，但需要手动百分位数并且显然只估计分位数 (https://prometheus.io/docs/practices/histograms/#errors-of-quantile-estimation)。当指标服务器重新启动时，计数也会被清除。
• Summary 指标可以捕获不连续的数据，但“通常不可聚合” (https://latencytipoftheday.blogspot.com/2014/06/latencytipoftheday-you-cant-average.html)。

这是一个简单的设置，带有Gauge，显然没有捕获

import express from 'express'
import promClient, { Gauge } from 'prom-client'

export const someMetric = new Gauge({
  name: 'some_metric',
  help: 'Track some metric; type = [a, b, c]',
  labelNames: ['one', 'two'],
})

const metricServer = express()
metricServer.get('/metrics', async (req, res) => {
  console.log('Metrics scraped')
  res
    .set('content-type', 'text/plain')
    .send(await promClient.register.metrics())
})

// intermittent callback that reports sales
service.onSale(value => {
  // this will simply overwrite the previous sale :(
  someMetric.labels('a', 'all').set(value)
})

metricServer.listen(9991, () =>
  console.log(`???? Prometheus listening on http://localhost:9991/metrics`)
)

我目前的计划是创建一个新数据库，以在内部跟踪滚动的 24 小时平均销售额，然后将其作为单个连续指标公开给 prometheus。不过，除了 prometheus 的聚合功能之外，在内部保持滚动平均值似乎很尴尬。

Answer 1

在不知道捕获这些数据的确切目的的情况下，很难判断量表、摘要或直方图是否最适合您的需求，但我会尽我所能满足我的假设。但首先，让我们先简化一下 Prometheus 所做的事情，这可能有助于想象我的发展方向。

Prometheus 是一个时间序列数据库。这意味着，每次您的数据被抓取时，它都会在给定的时间戳上保存您的指标快照及其记录值，因此在一个非常简化的版本中，您最终会得到类似 <timestamp, your_metric{label="1"} value> 的内容。

假设您只想获取销售期间支付的金额，并且您的客户数量有限，Gauges 可以帮助您在任何给定时间查看支付金额，通过标签区分任何客户*（尽管，计数器也可以）。

现在，您的问题是关于跟踪数据。绘制这应该不是问题。即使数据不连续，您也会在任何绘图仪中看到数据，例如格拉法纳。但是，看到点 (<timestamp, value of your metric for each label combination>) 或细线不会说明任何故事，使它们几乎毫无意义并且难以跟踪。为了使这些数据连续，您可以做的就是随着时间的推移进行聚合。随着时间的推移进行聚合，您可以在每个时间戳处获取聚合值，而不是在您选择的时间窗口中获取聚合值。

让我们试着想象一下：

Prometheus 每 2 秒抓取一次数据。在 30 分钟内，您的仪表仅记录 4 次销售。两个不同的客户在 1 分钟有两个，两个不同的客户在 20 分钟有两个。如果按原样绘制，您将看到 4 个点。如果你汇总这个，例如平均而言，您会在第 1 分钟和第 20 分钟看到两个点，其中包含两个销售的平均值。

如果您有兴趣看到一个连续的故事，例如要查看给定时间段内的平均销售额是多少，您需要随着时间的推移进行汇总。关键区别：在任何绘图点，您都会看到该时间戳和所选时间窗口之间的聚合值。因此，如果您在上面的示例中使用 avg_over_time 而不是 avg 并选择 30 分钟的时间窗口，那么您将有 0 到第 1 分钟，从第 1 分钟到第 20 分钟，您会看到平均值在第 1 分钟发生的两次销售，从第 20 分钟到第 31 分钟（从第 1 分钟开始两次销售后 30 分钟），您会看到所有 4 次销售的平均值。然后，从第 31 分钟到第 50 分钟，您将看到最后 2 次销售的平均值，然后从第 50 分钟再次看到 0。如果您选择更大的时间窗口，例如 24 小时，您将获得相同的效果。请记住，这个数字越大，Prometheus DB 的计算量就越大。拥有大量标签*，每个标签都具有很大的值差异，这将使此类时间窗口变得非常缓慢。对此的查询如下所示：

*我强调指标基数的重要性：the more labels you add to a metric, the more entries prometheus has to go over to do calculations since for each label combination it will create a time-series。