使用 cloudera quickstartVM 错误创建 Hadoop 集群

Question

我想使用可以直接从 cloudera 的网页 (http://www.cloudera.com/downloads/quickstart_vms/5-8.html) 下载的快速入门 VM 映像创建一个 Cloudera 集群。

我有三台虚拟机，我想拥有一台主机和两台从机。我已经对它们进行了配置，以便在 3 个虚拟机之间拥有不同的主机名和 DNS 连接。但是当我尝试添加新主机时，我通常会丢失其他机器的心跳，或者当它没有发生时，我会收到版本不匹配和 HDFS 错误。

那么，在尝试添加新主机之前，我还应该进行其他配置设置吗？

Answer 1

如果您想使用 3 个快速入门来执行此操作...不要。您将花费更多时间而不是从头开始创建所有内容。

不过，操作方法：

1. Cloudera 快速入门删除任何网络硬写入配置，以在第一时间将 FQDN 关联到真实 IP。如果您重新启动计算机，取决于启动网络的速度，您的 FQDN 将重新映射到 localhost。您必须停用此功能。
2. 在所有节点上将默认 RPM 安装转换为 Parcel。桌面上有一个图标。为什么在所有节点上？因为您将使用包裹添加节点，并在 RPM 和包裹之间引发冲突。另一种方法是从 Cloudera 发行版中删除所有 RPM 包，但有可能忘记其中一个...
3. 从您的从属服务器中删除 cloudera-manager-server 和 cloudera-manager-agent。
4. 使用 Parcels 使用 Add Host to cluster 按钮将您的 slave 添加到您的 master。

在完成所有这些之后，您需要优化 Cloudera 配置以查看所有内容。

就个人而言，我更喜欢使用 Centos 7 而不是 Centos 6 创建一个新模板，从模板实现 3 Vm，然后从头开始安装 Cloudera。