【问题标题】:What is the difference between single node & pseudo-distributed mode in Hadoop?Hadoop中的单节点和伪分布式模式有什么区别?
【发布时间】:2014-06-19 13:30:06
【问题描述】:

我想知道从配置角度和理论角度有什么区别?

这两种模式使用不同的端口号吗?还是有其他区别?

【问题讨论】:

    标签: hadoop configuration mode


    【解决方案1】:

    单节点设置是在一台机器上(大概)有一个数据节点和一个任务跟踪器。

    伪分布式设置是在一台机器上拥有多个数据节点和(可能)任务跟踪器。因此,您可以在单台机器上运行多个数据节点服务实例来模拟多节点集群。

    【讨论】:

      【解决方案2】:

      我的 2 美分。

      单节点设置(独立设置)

      默认情况下,Hadoop 配置为以非分布式或独立模式运行,作为单个 Java 进程。没有守护进程在运行,一切都在单个 JVM 实例中运行。未使用 HDFS。

      就配置而言,除了JAVA_HOME 之外,您无需执行任何操作。只需下载 tarball,解压缩,就可以开始了。

      伪分布式模式

      Hadoop 守护程序在本地机器上运行,从而模拟小规模的集群。不同的 Hadoop 守护进程在不同的 JVM 实例中运行,但在同一台机器上。使用 HDFS 代替本地 FS。

      就伪分布式设置而言,您至少需要设置以下两个属性以及JAVA_HOME

      1. fs.default.name in core-site.xml

      2. mapred.job.tracker in mapred-site.xml

      您可以有多个数据节点和任务跟踪器,但这在一台机器上没有多大意义。

      HTH

      【讨论】:

      • 如果我的 hadoop 是通过 ambari 安装的呢?似乎我什么也没做,但是 hdfs 正在运行并且它在单机上?有没有办法知道我安装的 hadoop 模式是什么?谢谢
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2012-09-13
      • 1970-01-01
      • 1970-01-01
      • 2011-02-07
      • 1970-01-01
      • 2018-03-10
      • 1970-01-01
      相关资源
      最近更新 更多