将 hadoop 集群连接到多个 Google 项目中的多个 Google Cloud Storage 存储桶

【问题标题】：Connect hadoop cluster to mutiple Google Cloud Storage backets in multiple Google Projects将 hadoop 集群连接到多个 Google 项目中的多个 Google Cloud Storage 存储桶
【发布时间】：2015-05-06 16:04:01
【问题描述】：

可以一次将我的 Hadoop 集群连接到多个 Google Cloud 项目吗？

我可以通过谷歌云存储连接器在单个谷歌项目中轻松使用任何谷歌存储桶，如本线程 Migrating 50TB data from local Hadoop cluster to Google Cloud Storage 中所述。但是我找不到任何文档或示例如何从单个 map-reduce 作业连接到两个或多个 Google Cloud 项目。你有什么建议/技巧吗？

非常感谢。

【问题讨论】：

标签： hadoop google-cloud-storage google-hadoop

【解决方案1】：

确实，可以一次将您的集群连接到来自多个不同项目的存储桶。最终，如果您使用using a service-account keyfile 的说明，则代表该服务帐户执行 GCS 请求，可以或多或少地像任何其他用户一样对待它。您可以使用 cloud.google.com/console 的 permissions 部分将服务帐户电子邮件 your-service-account-email@developer.gserviceaccount.com 添加到拥有要处理的存储桶的所有不同云项目中，然后像任何其他成员一样简单地添加该电子邮件地址，或者您可以设置 GCS-level access 以像任何其他用户一样添加该服务帐户。

【讨论】：