【问题标题】:Did hortan sandbox can use as a single node Hadoop clusterhortan 沙箱是否可以用作单节点 Hadoop 集群
【发布时间】:2014-11-10 08:07:46
【问题描述】:

我喜欢学习Hadoop多节点设置和安装,通过参考上面的教程我了解到单节点集群环境可以作为多节点集群的节点

http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/

目前我正在使用 Horton 沙箱学习 Hadoop,我们可以使用沙箱系统作为单节点环境吗?

如果不是,沙盒和传统 Hadoop 集群安装有什么区别

【问题讨论】:

    标签: hadoop bigdata sandbox hortonworks-data-platform


    【解决方案1】:

    沙盒映像(来自 Hortonworks 和 Cloudera)为用户提供了一个预配置的开发环境,其中包含所有可用并已安装的常用工具(pig、hive 等)。由于图像是一个单一的“系统”,它的设置使得 hadoop 集群是单节点的:即所有东西——HDFS、Hadoop map-reduce 等——都是该图像本地的。这是一个巨大的好处,任何建立了 hadoop 集群的人都会告诉你!它使您能够以极少的运营开销启动并运行。

    然而,这些沙盒不提供的是真实的集群行为,因为您只有一个节点。但是还有其他可能性 - 诸如 Vagrant 和 Docker 之类的工具 - 可以让你这样做(我自己没有尝试过)。

    您共享的大数据处理程序链接似乎是关于将其中几个独立的、固有的单节点“集群”组合在一起,以便您拥有更真实的东西。但我猜想设置它以使 YARN、Zookeeper 和其他服务不重复会带来不小的挑战。

    【讨论】:

      猜你喜欢
      • 2017-01-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-12-03
      • 1970-01-01
      • 2013-04-24
      • 1970-01-01
      相关资源
      最近更新 更多