刚才利用hadoop和mahout运行kmean是算法,一开始利用了10个节点,一个master,9个slave,运行了7分钟,我为了看速度的变化,就改用伪分布的形式,但是一开始运行就报错了:

 

17/04/08 11:43:32 INFO hdfs.DFSClient: No node available for block: blk_5391189133848637450_1019 file=/user/root/testdata/synthetic_control.data.txt

 意思就是针对文件块block,没有可用的节点,我一开始以为是节点没=没有启动,但是后来看了一下webUI,live nodes为1,说明datanode已经启动了啊,百度才知道是hdfs-site.xml出问题了:需要加上以下配置:

    <property>
                <name>dfs.datanode.max.xcievers</name>
            <value>4096</value>
                <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>
        </property>

不配置这个property的话,那么默认大小是256,显然有点小了;

相关文章:

  • 2021-12-04
  • 2021-09-21
  • 2021-04-05
  • 2021-07-23
  • 2022-01-17
  • 2021-11-03
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-05-02
  • 2021-11-05
  • 2022-12-23
  • 2021-11-24
相关资源
相似解决方案