【问题标题】:Manually start HDFS every time I boot?每次启动时手动启动 HDFS?
【发布时间】:2016-01-28 17:02:42
【问题描述】:

简明扼要:我应该在关机操作后返回集群的每个启动 HDFS 吗?


我已经成功创建了一个 Hadoop 集群(在 loosing some battles 之后),现在我要非常小心地进行此操作。

我应该在每次打开集群电源时执行start-dfs.sh,还是它已准备好执行我的应用程序代码? start-yarn.sh 也一样。

我担心如果我在一切正常的情况下运行它,它可能会在执行后留下垃圾目录。

【问题讨论】:

  • 所以你在Ubuntu本地安装了hadoop?那么分布式/集群计算的标签就有点多了
  • virtualbox扮演另一个节点@cricket_007的角色。
  • 那么 2 个节点?本地和 VirtualBox? hdfs 的默认复制因子是 3 个节点
  • 不是我的决定@cricket_007,对此我无能为力。我不认为节点的数量是我的问题的重点。
  • 我相信你的问题是“一切都很好”。这意味着您需要满足启动 hdfs(或 yarn)的最低要求。如果你不这样做,它可能会起作用,但它肯定会发出警告

标签: bash hadoop hdfs cluster-computing distributed-computing


【解决方案1】:

仅仅通过使用 Hortonworks 和 Cloudera 沙盒,我可以说打开和关闭它们似乎并没有表现出任何“副作用”。

但是,每次集群启动时都需要启动所需的服务。

就实际集群中的电源循环而言,建议在关闭各个节点之前停止运行在各个节点上的服务(stop-dfs.shstop-yarn.sh)。这样就不会出现奇怪的问题,并且停止服务的过程中的任何错误都将正确记录在每个节点上。

【讨论】:

  • 如何关闭它们?很高兴在你的答案中有这个。 :)
  • 嗯。我在 Hortonworks 安装上使用 Ambari,或者在 Cloudera 上使用 Cloudera Manager .... 是否没有 stop 等效脚本用于启动脚本?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-05-25
  • 1970-01-01
  • 2019-05-16
  • 2014-01-02
  • 2011-04-06
  • 2013-08-22
  • 1970-01-01
相关资源
最近更新 更多