【问题标题】:strange chart of memory usage in GCDGCD中内存使用的奇怪图表
【发布时间】:2020-08-06 02:54:42
【问题描述】:

我在 Google Cloud Dataflow 中执行了一项工作,现在我在 StackDriver 上看到了结果。我不明白内存图。我只使用了 1 名和 3 名之后的工人,但这张图表的比例是 TB 到秒的数量级。这是正常的?或者规模是GB?在这项工作的指标中,在我看到的精确瞬间,实际内存的值是 45 GB,它不在这张图表中,而且要小得多。谁能解释一下这张图表?

【问题讨论】:

    标签: google-cloud-dataflow stackdriver dataflow google-cloud-stackdriver


    【解决方案1】:

    内存使用(以 GB 或 TB 为单位)和 内存使用时间(通常以 GB 小时或 TB 秒为单位)是不同的衡量标准。

    Dataflow UI 对内存时间给出了以下解释:“与您的作业关联的所有工作人员使用的所有内存的总运行时间。例如,如果您的作业使用 3GB 内存持续 4 小时,则总内存时间为12 [GB] 小时。”

    【讨论】:

    • 还要注意内存分配和内存使用的区别。我猜您看到的 45 GB 数字是分配给您的工作人员的总内存,其中至少有一些可能在任何给定时间点都没有使用。
    【解决方案2】:

    Total memory usage timeDataflow metrics 之一,用于衡量计算能力(本例中为系统内存)的消耗。这是

    分配给此 Dataflow 作业的总 GB 秒内存。

    使用已建立的Pricing 向客户收取相应的消耗资源费用。

    内存消耗以GB-seconds 衡量。 1 GB.s 是 1 秒的挂钟时间,配置了 1GB 内存。计算时间以 100 毫秒为增量,四舍五入到最接近的增量。

    由于图表上的内存使用量是一个时间聚合值,以TB.s 表示的值可以通过除以3600 s 转换为GB.h

    1 GB.h = 3.6 TB.s

    曲线形状和 Y 坐标取决于您使用的聚合和对齐设置:maxmean1m1h 对齐周期等。例如在短峰值负载的情况下,宽时间窗口将作为均值校准器的一个大分母。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-06-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多