【发布时间】:2018-06-29 23:46:08
【问题描述】:
是否可以将文件从 s3 复制到 EMR 本地存储并通过 java jar 访问它?如果是,我们如何知道它复制了文件的是哪个 EMR 节点? (这是必需的,因为 java jar 需要与文件在同一个盒子上?)
【问题讨论】:
标签: amazon-web-services amazon-s3 emr amazon-emr
是否可以将文件从 s3 复制到 EMR 本地存储并通过 java jar 访问它?如果是,我们如何知道它复制了文件的是哪个 EMR 节点? (这是必需的,因为 java jar 需要与文件在同一个盒子上?)
【问题讨论】:
标签: amazon-web-services amazon-s3 emr amazon-emr
你试过SCP客户端吗?您可以执行以下操作将文件从 s3 复制到 EMR 主节点:
aws s3 cp s3://yourBucket/folder/object ./
scp -i yourKey.pem ./object hadoop@ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:/pathToWhereYouWantToStoreFileOnEMRLocal/
或者,您可以通过 SSH 连接到 EMR 集群的主节点,然后使用 AWS CLI 命令将文件从 S3 复制到本地文件系统。
【讨论】: