【问题标题】:Why Hadoop using namenode and datanode?为什么Hadoop使用namenode和datanode?
【发布时间】:2015-05-04 23:05:19
【问题描述】:

我们知道用于大数据处理的服务器应该能够容忍硬件故障。我的意思是,如果我们有 3 个服务器(A、B、C)并且突然 B 服务器停机,A 和 C 可以替换它的位置。但是在hadoop中,我们知道hadoop使用namenode和datanode,当namenode宕机时,我们无法再处理数据,听起来对硬件故障缺乏容忍度。

hadoop 的这种设计拱门有什么原因吗?

【问题讨论】:

  • 您使用的是哪个版本的hadoop
  • 在特定的hadoop版本中arch有什么改进吗?在问之前我没有做任何研究:v

标签: hadoop


【解决方案1】:

您提到的问题被称为 单点故障,它存在于旧的 hadoop 版本中。

尝试更新版本的 hadoop,例如 2.x.x。 Hadoop 2.0.0 版通过分配两个名称节点,即activestandby 名称节点,避免了这种单点故障。当活跃的namenode由于硬件或电源问题而失败时,备用的namenode将充当活跃的namenode。

查看此链接:Hadoop High Availability 了解更多详情。

【讨论】:

  • 感谢您的信息:>,我会在这些之后做进一步的研究
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-24
  • 2023-03-26
  • 2015-03-26
  • 1970-01-01
  • 2022-11-12
  • 2015-09-04
相关资源
最近更新 更多