使用 distcp 将数据从 HDFS 安全地传输到 amazon S3

Question

我们希望将 Cloudera Hadoop 集群中的 HDFS 数据备份到 Amazon S3。看起来我们可以为此使用 distcp，但不清楚的是数据是否通过加密传输复制到 S3。

是否需要进行配置才能启用此功能？

Answer 1

我认为 Hadoop 中尚不支持 S3 客户端加密。

似乎S3 server side encryption（在 S3 端加密静态数据）可以从 Hadoop 2.5.0 配置。

要启用它，请在core-site.xml 中添加以下属性：

<property>
  <name>fs.s3n.server-side-encryption-algorithm</name>
  <value> AES256 </value>
  <description>
    Specify a server-side encryption algorithm for S3.
    The default is NULL, and the only other currently allowable value is AES256.
  </description>
</property>

有关 S3 服务器端加密的更多信息Hadoop-10568。