大文件从 S3 到 Google Cloud Storage 的内存高效传输

Question

我在下面有一些工作代码可以将文件从 S3 传输到 Google Cloud Storage (GCS)。据我了解，这会将文件下载到内存中，然后再上传到 GCS。我想找到一种更有效的方法（在代码中）。我知道 Google 有传输服务和 CLI 选项，但这些选项不适合我的工作。

在我的应用程序中，下面的代码位于小方法中，但我以长程序形式发布了它，以便更轻松地一次性查看此处的步骤。

# AWS S3: Connect and get object
s3 = Aws::S3::Client.new(region: 'us-east-1', access_key_id: 'my_access_key', secret_access_key: 'my_secret')
response = s3.get_object(bucket:'my_s3_bucket', key:'my_object_key')

# Google Cloud Storage: Connect, Authorize and upload S3 object
client = Google::APIClient.new( :application_name => APP_NAME, :application_version => APP_VERSION )
key = Google::APIClient::KeyUtils.load_from_pkcs12(P12_KEY, 'notasecret')

client.authorization = Signet::OAuth2::Client.new(
  :token_credential_uri => 'token_credential_uri',
  :audience => 'audience',
  :scope => 'scope',
  :issuer => 'issuer',
  :signing_key => key)
client.authorization.fetch_access_token!

storage = client.discovered_api('storage', 'v1')

media = Google::APIClient::UploadIO.new(response['response'], 'text/csv', 'my_filename.txt')

resumable_result = client.execute(
  api_method: storage.objects.insert,
  media: media,
  parameters: {
    uploadType: 'resumable',
    bucket: 'my_gcs_bucket',
    name: filename.to_s
  },
  body_object: {contentType: 'text/csv'},
  connection: conn
)

我已经看到了将对象直接流式传输到磁盘上的文件的方法，从而避免将整个对象加载到内存中，但是我将如何使用 GCS 作为最终目标来做同样的事情呢？

Answer 1

您可以使用gsutil（支持rsync）或在REST API 上创建转移（以防您坚持在同一句话中使用Ruby 和高效）。下载和重新上传可能需要很长时间，我认为直接传输是有效的。

猜测 Ruby 中的等价物是 APIClient/Request - 以便创建请求，否则该 Ruby API 客户端不明确支持这些请求。

而gsutil rsync 可以镜像整个存储桶。总是双重和三重检查它的参数和它们的顺序，因为当镜像一个空目录/桶时，这可能会导致突然停电。建议首先尝试使用两个空桶，然后替换源和目标。

gsutil rsync -d -r s3://my-s3-bucket gs://my-gs-bucket