Google Compute Engine 支持 RAM 磁盘 - 请参阅 here。
我开发了一个项目，该项目将重用处理本地文件的现有代码。
为了可扩展性，我将使用 Dataflow。
这些文件在 GCS 中，我会将其发送给 Dataflow 工作人员进行操作。
我正在考虑通过在工作人员上使用 RAM 磁盘来创造更好的性能，将文件从 GCS 直接复制到 RAM 磁盘，并在那里进行操作。
我找不到任何这种能力的例子。
这是一个有效的解决方案，还是我应该避免这种“技巧”？
【问题讨论】：
标签： google-compute-engine google-cloud-dataflow ramdisk ramdrive
由于 ramdisk 是在操作系统级别上设置的，因此无法使用 ramdisk 作为工作人员的磁盘类型。 workers 唯一可用的磁盘是标准永久性磁盘 (pd-standard) 和 SSD 永久性磁盘 (pd-ssd)。其中，SSD肯定更快。您可以尝试添加更多工作器或使用更快的 CPU 来更快地处理数据。
为了比较，我尝试运行使用标准和 ssd 的作业，结果发现使用 SSD 比标准磁盘快 13%。但请注意，我刚刚从dataflow docs 测试了快速入门。
使用 SSD（经过 3m 54s 时间）：
使用标准磁盘（4m 29s 经过时间）：
【讨论】：
虽然creating a setup.py with custom commands 在技术上可以实现您想要做的事情，但它不会帮助您提高性能。 Beam 已经尽可能多地使用工作人员的 RAM 以有效执行。如果您正在从 GCS 读取文件并对其进行操作，则该文件已经被加载到 RAM 中。 通过为 ramdisk 指定一大块 RAM，您可能会使 Beam 运行得更慢，而不是更快。
如果您只是想让事情发生得更快，请尝试使用 SSD，增加工作人员的数量，或尝试使用 c2 机器系列。
【讨论】：
beam.io.Read()（如果您需要读取二进制文件，则直接使用GcsIO()）从GCS读取文件。它具有各种优化，可以并行文件读取并将文件缓冲到 RAM 中，您不需要自己实现。
google-cloud-storage python 模块，请不要这样做。从 GCS 读取文件所需的一切都内置在 Beam 中。