Google Compute Engine VM 磁盘非常慢答案

【问题标题】：Google Compute Engine VM disk is very slowGoogle Compute Engine VM 磁盘非常慢
【发布时间】：2020-03-31 07:36:25
【问题描述】：

我们刚刚切换到 Google Compute Engine，但在磁盘速度方面遇到了重大问题。大约是 Linode 的 5% 或更差。写入从未超过20M/s，读取从未超过10M/s。大多数情况下，写入速度为 15M/s，阅读速度为 5M/s。

我们目前正在运行n1-highmem-4（4 个 vCPU，26 GB 内存）机器。 CPU和内存不是瓶颈。只需运行一个脚本，从 PostgreSQL 数据库中读取行，处理它们，然后写回 PostgreSQL。批量更新数据库行只是一个常见的工作。尝试运行 20 个进程以利用多核，但总体进展仍然缓慢。

我们认为磁盘可能是瓶颈，因为流量异常低。

最后我们决定进行基准测试。我们发现它不仅速度慢，而且似乎有一个可重现的主要错误：

创建并连接到实例

至少运行 3 次基准测试：

dd if=/dev/zero bs=1024 count=5000000 of=~/5Gb.file

我们发现它变得非常缓慢，根本无法完成基准测试。

【问题讨论】：

这是一个陈述而不是一个问题，应该结束。
我看到了声明，我有一个问题：我该如何解决这个问题？

标签： google-compute-engine

【解决方案1】：

Google Cloud推荐的答案

永久磁盘性能与磁盘本身的大小和它所连接的虚拟机成正比。磁盘（或虚拟机）越大，性能就越高，因此本质上，您为磁盘或虚拟机支付的价格不仅要支付磁盘/CPU/RAM，还要支付 IOPS 和吞吐量。

引用Persistent Disk documentation：

持久磁盘性能取决于卷的大小和您选择的磁盘类型。更大的卷可以实现更高的 I/O 级别比体积更小。没有单独的 I/O 费用作为 I/O 功能包含在永久磁盘的价格中。

持久化磁盘的性能可以描述如下：

IOPS 性能限制随永久磁盘卷的大小线性增长。

吞吐量限制也会线性增长，直至达到永久磁盘所连接的虚拟机的最大带宽。

较大的虚拟机比较小的虚拟机具有更高的带宽限制。

页面上还有一个更详细的定价图表，显示了您购买的每 GB 空间所获得的收益（以下数据是截至 2014 年 8 月的最新数据）：

                                  Standard disks     SSD persistent disks

Price (USD/GB per month)                $0.04               $0.025
Maximum Sustained IOPS
  Read IOPS/GB                           0.3                  30
  Write IOPS/GB                          1.5                  30
Read IOPS/volume per VM                 3,000               10,000
Write IOPS/volume per VM               15,000               15,000
Maximum Sustained Throughput
  Read throughput/GB (MB/s)              0.12                 0.48
  Write throughput/GB (MB/s)             0.09                 0.48
Read throughput/volume per VM (MB/s)     180                  240
Write throughput/volume per VM (MB/s)    120                  240

以及页面上的一个具体示例，说明特定大小的磁盘将为您提供什么：

作为一个示例，说明如何使用性能图表来确定您想要的磁盘卷，考虑 500GB 标准持久磁盘会给你：

(0.3 × 500) = 150 次小随机读取

(1.5 × 500) = 750 次小随机写入

(0.12 × 500) = 60 MB/s 的大型顺序读取

(0.09 × 500) = 45 MB/s 的大型顺序写入

【讨论】：