在 Apache Mesos 上设置 Apache Hadoop 需要帮助答案

【问题标题】：Need Help for Setup Apache Hadoop on Apache Mesos在 Apache Mesos 上设置 Apache Hadoop 需要帮助
【发布时间】：2015-04-13 23:58:31
【问题描述】：

我正在尝试使用以下文档在 mesos 上设置 hadoop：

https://docs.mesosphere.com/tutorials/run-hadoop-on-mesos/

我在第 9 步遇到问题

sudo -u mapred ./hadoop-2.0.0-mr1-cdh4.2.1/bin/hadoop dfs -rm -f /hadoop-2.0.0-mr1-cdh4.2.1.tgz
sudo -u mapred /usr/bin/hadoop dfs -copyFromLocal ./hadoop-2.0.0-mr1-cdh4.2.1.tgz /

我对这个概念还是陌生的。我必须使用本教程配置 mesos 集群：

https://www.digitalocean.com/community/tutorials/how-to-configure-a-production-ready-mesosphere-cluster-on-ubuntu-14-04

现在我在执行 dfs 命令时遇到错误：

root@station1:~# sudo -u mapred ./hadoop-2.0.0-mr1-cdh4.2.1/bin/hadoop dfs -rm -f /hadoop-2.0.0-mr1-cdh4.2.1.tgz
-rm: Expected authority at index 7: hdfs://
Usage: hadoop fs [generic options] -rm [-f] [-r|-R] [-skipTrash] <src> ...

【问题讨论】：

这听起来你对core-site.xml 有问题，即fs.defaultFS 和/或fs.default.name 的值设置不正确。您能否再次检查并确保您 100% 已按照步骤 8 中的指南进行操作？

标签： apache hadoop hdfs microsoft-distributed-file-system mesos

【解决方案1】：

本教程假设您已经在集群上安装了 HDFS。您可以通过在每个节点上手动安装 HDFS 来做到这一点，也可以尝试新的 HDFS 框架：https://github.com/mesosphere/hdfs

hadoop fs -ls hdfs:// 是否单独工作？如果没有，您需要适当地安装和配置 HDFS。

【讨论】：

我已经安装了你在github.com/mesosphere/hdfs 上面提到的 HDFS 包。但是，启动此 HDFS 服务时遇到问题。它说无法分配资源，如出现错误。请帮我解决这个问题。
您能否提供您使用的步骤以及您得到的确切错误/日志？ HDFS 框架至少需要 4 个 Mesos 从站来启动 NameNode、JournalNode 和至少一个 DataNode。
感谢您的回复。这就是我在 mesos 主节点上声明 HDFS 服务时遇到的错误。 root@master1:/opt# cd hdfs-mesos-0.1.0/ root@master1:/opt/hdfs-mesos-0.1.0# 。 /bin/hdfs-mesos 15:42:52.100 [Thread-35] INFO org.apache.mesos.hdfs.Scheduler - 收到 1 个报价 15:42:52.105 [Thread-35] INFO org.apache.mesos.hdfs.Scheduler - 报价没有足够的资源
您要么需要更大的 Mesos 从属服务器才能启动 NN/DN，要么必须解压 HDFS 框架 tarball，降低 CPU/内存需求，然后重新打包它。
我是mesos和hadoop的初学者。我的mesos集群有5个slave和1个master，每个节点配置为(CPU:1,MEM:245,Disk:3.5GB)。这一切都是在虚拟盒子。我不知道自己是否走在正确的道路上，所以请做必要的事情。我要求您提供文件或逐步进行。提前致谢。