【问题标题】:Configuring hadoop manually on ec2在ec2上手动配置hadoop
【发布时间】:2013-04-10 16:31:13
【问题描述】:

有人可以向我指出任何可以帮助我手动在 EC2 上设置/配置 Hadoop (1.0.4) 的资源的方向。我同意有很多资源可以使用工具、服务等来完成此任务,但我正在寻找的是一些帮助,以确定 手动 对 conf/*.xml 文件进行哪些修改为了让 Hadoop 工作,从属和主控都可以工作。

现在,我有 5 个 ec2 实例正在运行,它们都能够在伪分布式模式下单独运行 hadoop 作业。所以,我需要通过配置conf文件的方式将一个变成master,剩下的变成slave,这样slave就知道namenode和jobtracker在哪里,master知道所有的slave。

我的理解是,我还必须配置实例的 EC2 安全组,以便它们都可以在正确的端口上相互通信。我觉得我没问题。

谁能帮我完成配置部分,或者指点我一些可能有帮助的东西?

【问题讨论】:

标签: configuration hadoop amazon-ec2


【解决方案1】:

我在这里找到了这个详尽的教程,它最终让我启动并运行:http://cloudblog.8kmiles.com/2011/12/05/hadoop-fully-distributed-setup/

【讨论】:

  • 嘿,我有一个问题要问你,因为我也在尝试让 hadoop 1.0.4 在 ec2 上运行,你有时间吗?
  • 我正在尝试查找 hadoop 1.0.4 映像:ec2-describe-images -x all | grep 1.0.4
猜你喜欢
  • 2013-03-31
  • 1970-01-01
  • 1970-01-01
  • 2019-07-14
  • 2018-07-09
  • 2013-04-04
  • 2016-06-24
  • 2015-07-08
  • 1970-01-01
相关资源
最近更新 更多