【发布时间】:2014-06-19 13:30:06
【问题描述】:
我想知道从配置角度和理论角度有什么区别?
这两种模式使用不同的端口号吗?还是有其他区别?
【问题讨论】:
标签: hadoop configuration mode
我想知道从配置角度和理论角度有什么区别?
这两种模式使用不同的端口号吗?还是有其他区别?
【问题讨论】:
标签: hadoop configuration mode
单节点设置是在一台机器上(大概)有一个数据节点和一个任务跟踪器。
伪分布式设置是在一台机器上拥有多个数据节点和(可能)任务跟踪器。因此,您可以在单台机器上运行多个数据节点服务实例来模拟多节点集群。
【讨论】:
我的 2 美分。
默认情况下,Hadoop 配置为以非分布式或独立模式运行,作为单个 Java 进程。没有守护进程在运行,一切都在单个 JVM 实例中运行。未使用 HDFS。
就配置而言,除了JAVA_HOME 之外,您无需执行任何操作。只需下载 tarball,解压缩,就可以开始了。
Hadoop 守护程序在本地机器上运行,从而模拟小规模的集群。不同的 Hadoop 守护进程在不同的 JVM 实例中运行,但在同一台机器上。使用 HDFS 代替本地 FS。
就伪分布式设置而言,您至少需要设置以下两个属性以及JAVA_HOME:
fs.default.name in core-site.xml。
mapred.job.tracker in mapred-site.xml。
您可以有多个数据节点和任务跟踪器,但这在一台机器上没有多大意义。
HTH
【讨论】: