【问题标题】:can you choose the boto3 s3 protocol?你可以选择boto3 s3协议吗?
【发布时间】:2016-10-14 09:26:36
【问题描述】:

显然,普通的 s3uri 协议几乎已被弃用。这是boto3使用的吗?我们可以选择新的首选方法 s3n 或 s3a 吗?

来自 AmazonS3 wiki:

由 S3 支持的基于块的文件系统。文件存储为块,就像它们在 HDFS 中一样。这允许有效地执行重命名。此文件系统要求您为文件系统专用一个存储桶 - 您不应使用包含文件的现有存储桶,或将其他文件写入同一存储桶。此文件系统存储的文件可以大于 5GB,但它们不能与其他 S3 工具互操作。没有人/不应该再通过此方案将数据上传到 S3;它最终将完全从 Hadoop 中删除。考虑它(截至 2016 年 5 月),已弃用。

【问题讨论】:

    标签: hadoop amazon-web-services amazon-s3 boto3


    【解决方案1】:

    作为后端 boto3 使用 AWS S3 Rest API: http://docs.aws.amazon.com/AmazonS3/latest/API/Welcome.html

    这是目前唯一可用的选项。

    如果您不喜欢 boto3 的工作方式,请考虑制作您自己的请求。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-11-23
      • 2014-06-28
      • 1970-01-01
      • 2017-12-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多