如何从 hdfs 到 s3 运行加密的 distcp？

Question

我喜欢将数据从我们的 hadoop 集群（本地）复制到 s3。我可以做到不加密。我还可以运行带有客户端加密的 s3cmd put。如何使用客户端加密进行 distcp？

Answer 1

最近的 Hadoop 版本应该可以使用客户端加密进行传输。

为了安全起见，不会成为您设置细节的牺牲品，我将通过设置如下所示的存储桶策略来确保安全传输，禁止非安全传输。

{
    "Statement":[
        {
            "Action": "s3:*",
            "Effect":"Deny",
            "Principal": "*",
            "Resource":"arn:aws:s3:::bucketname/*",
            "Condition":{
                "Bool":
                { "aws:SecureTransport": false }
            }
        }
    ]
}