【问题标题】:Amazon Elastic Mapreduce : Bootstrap Actions issue?Amazon Elastic Mapreduce:引导操作问题?
【发布时间】:2013-07-27 08:41:25
【问题描述】:

我学会了通过命令行界面创建工作流程。我正在使用亚马逊弹性 mapreduce cli 来创建和运行作业流程。我的疑问是,我想在创建的作业流创建时使用引导操作将我的源文件从 s3 存储桶放入主节点。我在交互模式下使用 Pig Program 来运行我的工作流程。

我阅读了有关引导操作的文档,但这些内容对我来说并不清楚。

提前谢谢谁能告诉我如何使用引导操作将我的文件从 s3 存储桶复制到主节点。

【问题讨论】:

    标签: hadoop amazon-web-services amazon-s3 amazon-ec2 ganglia


    【解决方案1】:

    引导操作只是标准的 unix 脚本。确保 shebang 指向集群中机器上的解释器,一切顺利。

    当您说源文件时,您是指您的猪脚本吗?这些可以直接从 s3 运行。如果您在谈论数据,则应直接从 s3 中读取这些内容,除非您有先复制到集群的用例(例如多次扫描相同的数据)

    【讨论】:

    • 谢谢@prestomation 我有一些python源代码来执行工作。我想将源文件放入主节点,并且我想运行 python 脚本以每天自动运行作业流程。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-10
    • 2011-12-27
    • 1970-01-01
    • 2013-08-20
    • 1970-01-01
    • 2012-05-14
    相关资源
    最近更新 更多