AWS 实例 distcp 到 s3 - 访问密钥答案

【问题标题】：AWS instance distcp to s3 - Access keysAWS 实例 distcp 到 s3 - 访问密钥
【发布时间】：2016-01-16 08:34:51
【问题描述】：

如果我有一个使用角色创建的 EC2 实例，获取访问密钥以执行从 hdfs 到 s3 的 distcp 的最佳实践方法是什么？

我不想使用我们的自动化部署工具向实例发送访问密钥，因为这意味着将密钥存储在显而易见的地方。实例是否可以使用 CLI 请求一组密钥？

我需要他们给hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data

【问题讨论】：

【解决方案1】：

当使用角色启动 Amazon EC2 实例时，该实例将通过实例元数据服务获得对临时安全密钥的访问权限。它的工作原理如下：

在身份和访问管理 (IAM) 中创建了一个角色
向角色授予了适当的权限
Amazon EC2 实例已启动并选择了该角色。如果您使用 Amazon Elastic MapReduce (EMR) 启动实例，则通常会为它们分配特定于 EMR 的角色（您可以对其进行修改
一组临时安全凭证可通过 URL http://169.254.169.254/latest/meta-data/iam/security-credentials/ 提供给实例

调用 AWS 开发工具包的软件知道会自动查看此 URL 以检索安全凭证。如果您使用的软件没有自动查看此 URL，您可以将其提取并传递给软件。

【讨论】：