hadoop - 伪分布式模式下的多个数据节点配置

Question

我是hadoop的新手。我已经在单机上设置了 hadoop - 伪分布式模式。我的 hdfs-site.xml 默认配置：

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/yarn_data/hdfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/yarn_data/hdfs/datanode</value>
</property>

运行后：

hdfs 名称节点-格式
start-all.sh
日本人

我有一个namenode和一个datanode。
我想在这台机器上有多个数据节点，我尝试按照这个建议进行配置：stackoverflow 和我的配置：

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/yarn_data/hdfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/yarn_data/hdfs/datanode-1</value>
    <name>dfs.datanode.address</name>
    <value>0.0.0.0:9870</value>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:9090</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/yarn_data/hdfs/datanode-2</value>
    <name>dfs.datanode.address</name>
    <value>0.0.0.0:9871</value>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:9091</value>
</property>

我获得零数据节点。任何帮助将不胜感激。

Answer 1

链接答案的关键部分是您必须为每个数据节点实例维护不同的配置

您不能将两个<name> 和<value> 部分作为相同 XML 文件的一部分

您需要有两个单独的配置文件，每个数据节点一个。
但是，我 我不完全确定是否有可能有两个 HADOOP_CONF_DIR 变量用于唯一的 Hadoop 进程。可能有办法做到hadoop --config /some/path datanode，但start-dfs 只是隐藏这种方式来运行数据节点远离你

话虽如此，假设您有export HADOOP_CONF_DIR=/etc/hadoop 和ls $HADOOP_CONF_DIR/hdfs-site.xml 正在工作，那么您可以在自己的终端中尝试以下操作

mkdir /etc/hadoop2
cp /etc/hadoop/* /etc/hadoop2/

# EDIT the new hdfs-site.xml file

hadoop --config /etc/hadoop2 datanode

我建议只使用两个独立的虚拟机，因为这样会更接近真实场景