Hadoop备份和恢复工具和指南答案

【问题标题】：Hadoop backup and recovery tool and guidanceHadoop备份和恢复工具和指南
【发布时间】：2015-07-25 21:02:30
【问题描述】：

我是 hadoop 新手，需要了解有关备份和恢复的详细信息。我已经修改了 oracle 备份和恢复，它对 hadoop 有帮助吗？我应该从哪里开始

【问题讨论】：

标签： hadoop

【解决方案1】：

有几个备份和恢复选项。正如 s.singh 所指出的，数据复制不是灾难恢复。

HDFS 支持快照。这可用于防止用户错误、恢复文件等。话虽如此，这不是 Hadoop 集群完全故障时的 DR。 (http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html)

最好的办法是保持异地备份。这可以是另一个 Hadoop 集群、S3 等，并且可以使用 distcp 执行。 (http://hadoop.apache.org/docs/stable1/distcp2.html), (https://wiki.apache.org/hadoop/AmazonS3)

【讨论】：

【解决方案2】：

Hadoop 设计用于在具有 1000 个节点的大型集群上工作。数据丢失可能更少。您可以增加复制因子以将数据复制到集群中的许多节点中。

对于 Namenode 日志备份，您可以使用 secondary namenode 或 Hadoop High Availability

辅助名称节点

Secondary namenode 将备份 namnode 日志。如果 namenode 失败，那么您可以从辅助 namenode 恢复 namenode 日志（保存数据块信息）。

高可用性

高可用性是一项新功能，可在集群中运行多个名称节点。一个名称节点将处于活动状态，另一个将处于待机状态。日志保存在两个名称节点中。如果一个名称节点发生故障，则另一个名称节点将变为活动状态并处理该操作。

但在大多数情况下，我们还需要考虑备份和灾难恢复。参考@brandon.bell 的答案。

【讨论】：

@Kumar- 复制不是为灾难恢复而设计的。数据复制仅在节点故障的情况下才有用。即使是高可用性集群也不是为灾难恢复而设计的。它确保您的集群的可用性。当我们处理敏感数据时，我们应该关心备份和恢复。有关灾难恢复的几种方法，请参阅我之前的帖子。 stackoverflow.com/questions/28038121/…
总是需要备份。至少，您需要能够防止数据的逻辑丢失。第 1 天，Bob 被告知“清除那些我们不需要的东西”，第 5 天有人问 Bob 所有有用的数据都去了哪里。如果复制删除，复制是不够的。
除了防止用户错误、数据逻辑丢失之外，您还需要为内部审计/合规目的进行某种备份，例如，您必须保留一定数量的月/年，具体取决于您的行业

【解决方案3】：

您可以将 DataTorrent 上的 HDFS 同步应用程序用于 DR 用例，将大量数据从一个 HDFS 集群备份到另一个。

它使用Apache Apex 作为处理引擎。

【讨论】：

【解决方案4】：

从官方文档网站开始：HdfsUserGuide

看看下面的 SE 帖子：

关于Recovery_Mode的文档页面：

通常，您将配置多个元数据存储位置。然后，如果一个存储位置损坏，您可以从其他存储位置之一读取元数据。

但是，如果唯一可用的存储位置已损坏，您该怎么办？在这种情况下，有一个称为恢复模式的特殊 NameNode 启动模式，可以让您恢复大部分数据。

您可以像这样在恢复模式下启动 NameNode：namenode -recover

【讨论】：