如何替换谷歌云存储中大文件的字符串？ [关闭]

Question

我在 Google Cloud Storage 中有一个大文件，例如 100GB。替换此文件内容的字符串的最佳做法是什么？

一个简单的选择是：

1. 使用本地 SSD 创建 GCE
2. 下载到 GCE
3. 运行sed -i 's/old/new/g'文件名
4. 上传回 GCS

Answer 1

另一种方法是使用数据流。但这对于简单地更新一个字段来说是巨大的……数据准备的 Sallee 事情。新的数据融合是可视化的，但使用 dataproc 执行，仍然过大。

如果您的文件在大查询中很容易加载，。在 GCS 中加载、转换并将结果导出为相同的格式...

你的解决方案是我认为最好的。

Answer 2

GCS 中的存储桶不是文件系统，因此从技术上讲，您无法直接对其进行编辑，您的解决方案是我能想到的最简单的解决方案。

其他选项： Fuse 或 Filestore 用于文件系统支持。 Rsync 允许将本地目录与 GCS 存储桶同步。

否则，您必须下载/上传以编辑位于 GCS 中的文件（例如您的解决方案与 GCE 虚拟机实例）。