【问题标题】:Deploying CDH5 on virtual box cluster?在虚拟盒集群上部署 CDH5?
【发布时间】:2016-04-15 16:22:50
【问题描述】:
所以我想创建一个虚拟机集群,有一个主节点和 4 个从节点,所以 IP 地址将是 xxx.xxx.xx.01、02、03、04 和 05。我将使用 14.04 Ubuntu 64 位。设置这些虚拟机后,我是否:
- 必须为每台机器设置静态 IP 地址?
- 必须在每台机器上安装 CDH5(使用 Cloudera Manager),还是只在我将用作主机的机器上安装?
虚拟集群的目的是能够安装 Hadoop 和 Spark 以主要运行 Spark 作业。
【问题讨论】:
标签:
hadoop
apache-spark
cloudera
【解决方案1】:
在 /etc/hosts 文件中添加这些主机名和 IP 地址。
[root@slave ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.111.100 master.hadoop.com
192.168.111.101 slave1.hadoop.com
192.168.111.102 slave2.hadoop.com
192.168.111.103 slave3.hadoop.com
是的,您需要在每台机器上安装 CDH5。并在每台机器的配置文件中进行所需的配置。
详细安装可以参考这个post。