【问题标题】:Is it ideal for the Name Node to also be the Secondary Name Node?名称节点同时作为辅助名称节点是否理想?
【发布时间】:2023-04-05 16:50:01
【问题描述】:

我正在通过 Raspberry Pi 练习一个 hadoop 集群,根据本教程 (http://www.widriksson.com/raspberry-pi-hadoop-cluster/),他在他的 hadoop 主文件配置中设置了 node1,这令人困惑,因为他还使用 node 来启动 hadoop 守护进程。我也想知道他的配置原因

附: - 只需 ctrl+f 即可

【问题讨论】:

标签: hadoop hadoop2


【解决方案1】:

不,这并不理想。如何配置集群取决于您。在本教程中,作者决定同时使用node1 作为 P-NN 和 S-NN。请记住,RPi Hadoop Cluster 仅适用于开发和测试,而不适用于生产环境。

在单独的机器上运行 Primary NameNode 和 Secondary NameNode 的优缺点(基于 Cloudera 的 This article):

1.可扩展性。创建系统快照需要的内存与 NameNode 本身占用的内存一样多。由于可用的内存 NameNode 进程是对分布式大小的主要限制 文件系统,大型集群将需要大部分或全部 NameNode 的可用内存。

2.耐用性。当 SecondaryNameNode 创建检查点时,它会在文件系统元数据的单独副本中执行此操作。移动这个 到另一台机器的进程也会创建元数据文件的副本 独立的机器,增加其耐用性。

【讨论】:

  • 哦,好的,谢谢您的回答。但是这个配置会产生什么效果呢?能说说优缺点吗?
  • @DeanChristianArmada 我已经用优缺点编辑了我的答案。
  • 我认为分离的另一个原因是,如果“名称节点”失败的节点 1 有一个可用的辅助名称节点可以指向
  • @DeanChristianArmada Secondary NameNode 不是 NameNode 的备份。
  • 如果我错了,请纠正我,但是当名称节点出现故障时辅助名称节点运行对吗?
猜你喜欢
  • 2013-11-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-08-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多