【问题标题】:High-Availability not working in Hadoop cluster高可用性在 Hadoop 集群中不起作用
【发布时间】:2021-05-31 12:13:27
【问题描述】:

我正在尝试将我的非 HA 名称节点移动到 HA。按照 Apache Hadoop 文档设置 JournalNode 的所有配置后,我能够启动名称节点。但是,namenodes 立即崩溃并抛出以下错误。

错误 org.apache.hadoop.hdfs.server.namenode.NameNode:无法启动名称节点。 java.io.IOException:编辑日志中似乎存在间隙。我们期望 txid 43891997,但得到 txid 45321534。

我尝试恢复编辑日志、初始化共享编辑等,但没有任何效果。我不确定如何在不格式化 namenode 的情况下解决此问题,因为我不想丢失任何数据。

非常感谢任何帮助。提前致谢。

【问题讨论】:

  • 你试过在恢复模式下启动namenode吗? hadoop namenode -recover 回到单NN模式,效果好吗?
  • 恢复失败。我尝试重置所有配置并在以前唯一的非 HA 名称节点上执行“-initializeSharedEdits”,但它给我带来了以下错误并且从未完成。 “java.nio.file.FileSystemException:/data/hadoop/hdfs/nn/current/edits_0000000000045188575-0000000000045188576:打开的文件太多”。然后我还在新的备用名称节点上尝试了“-bootstrapStandby”,它抛出错误“编辑日志中的间隙”。我不确定这里缺少什么。如果感谢,请提供任何帮助。
  • 备用节点在出现以下错误后立即崩溃并出现以下错误。我不确定他们为什么无法同步。 “org.apache.hadoop.util.ExitUtil:以状态 1 退出:java.io.IOException:编辑日志中似乎存在间隙。我们预期 txid 为 45188575,但得到了 txid 45657087。”

标签: hadoop hdfs cloudera high-availability


【解决方案1】:

问题在于 linux 机器上打开文件的限制。我增加了打开文件的限制,然后共享编辑的初始化工作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-12-27
    • 2015-12-21
    相关资源
    最近更新 更多