【问题标题】:How to access local files on EMR using java jar?如何使用 java jar 访问 EMR 上的本地文件?
【发布时间】:2018-06-29 23:46:08
【问题描述】:

是否可以将文件从 s3 复制到 EMR 本地存储并通过 java jar 访问它?如果是,我们如何知道它复制了文件的是哪个 EMR 节点? (这是必需的,因为 java jar 需要与文件在同一个盒子上?)

【问题讨论】:

    标签: amazon-web-services amazon-s3 emr amazon-emr


    【解决方案1】:

    你试过SCP客户端吗?您可以执行以下操作将文件从 s3 复制到 EMR 主节点:

    aws s3 cp s3://yourBucket/folder/object ./
    scp -i yourKey.pem ./object hadoop@ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:/pathToWhereYouWantToStoreFileOnEMRLocal/
    

    或者,您可以通过 SSH 连接到 EMR 集群的主节点,然后使用 AWS CLI 命令将文件从 S3 复制到本地文件系统。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-04-21
      • 1970-01-01
      • 2020-01-15
      • 2021-05-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-08-31
      相关资源
      最近更新 更多