【问题标题】:Amazon Elastic Map Reduce : Listing job flows in command line tools Issue?Amazon Elastic Map Reduce:在命令行工具中列出作业流程 问题?
【发布时间】:2013-07-20 07:23:19
【问题描述】:

我是 Amazon Web 服务的新手,我正在尝试使用命令行界面工具在 Amazon elastic map reduce 作业上运行作业流。

我按照 aws 开发者指南的亚马逊开发者指南中的步骤进行操作。但我并不清楚。

如果我执行命令 ./elastic-mapreduce --list 列出工作流程。显示以下错误。

/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:23: warning: else without rescue is useless
/usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require': /home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:19: syntax error, unexpected ':', expecting keyword_then or ',' or ';' or '\n' (SyntaxError)
/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:36: syntax error, unexpected keyword_end, expecting $end
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/awsquery.rb:6:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/service.rb:8:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/elasticmapreduceclient.rb:6:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/client.rb:6:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/commands.rb:7:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /home/pdurai/Applications/elastic-mapreduce-cli/elastic-mapreduce-cli.rb:5:in `<top (required)>'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from /usr/local/rbenv/versions/1.9.3-p194/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require'
    from ./elastic-mapreduce:6:in `<main>'

提前致谢,谁能告诉我为什么在列出工作流程时出现上述错误。

【问题讨论】:

    标签: hadoop amazon-web-services cloudera elastic-map-reduce ganglia


    【解决方案1】:

    使用以下命令检查可用的 rvm

       $ rvm list
    

    它会显示:

       ruby-1.8.7-p374
       ruby-2.0.0-p247
    

    那么您应该使用以下命令指定 rvm 版本

       $ rvm use 1.8.7
    

    然后您可以尝试列出工作流。 . .

    【讨论】:

      【解决方案2】:

      如果rvm 不适合您,您可以尝试更改Current 符号链接:

      cd /System/Library/Frameworks/Ruby.framework/Versions
      sudo rm Current
      sudo ln -s 1.8 Current
      

      您可能需要调整第三个参数以指向正确的版本。

      【讨论】:

        【解决方案3】:

        我建议首先使用服务控制台学习如何执行此过程。

        您的命令行工具似乎无法正确连接。也许这是您的 access_key 和 secret_key 的问题。

        【讨论】:

        • 我已经在控制台中尝试过,运行良好。但是我想每天通过命令行界面(CLI)创建和运行作业流程来自动化作业流程。让我知道我可以在 Ruby 1.9 版中运行此命令
        • 我自己用的是Java SDK
        【解决方案4】:

        作为@sasikkumar 的答案,但使用 rbenv

           $ rbenv versions
        

        它会显示:

           1.8.7-p370
           * 1.9.3-p194 (set by /PATH_NEEDED/.ruby-version)
        

        (可选)如果没有出现 1.8.7-p370

           $ rbenv install 1.8.7-p370
        

        那么您应该使用以下命令指定 rbenv 版本

           $ rbenv local 1.8.7-p370
        

        local 因为它将用于 PATH_NEEDED 但您可以将global 用于一般用途)

        然后您可以尝试列出工作流。 . .

        【讨论】:

          猜你喜欢
          • 2013-07-20
          • 1970-01-01
          • 1970-01-01
          • 2014-10-07
          • 2011-10-10
          • 2015-05-28
          • 1970-01-01
          • 1970-01-01
          • 2017-06-27
          相关资源
          最近更新 更多