【问题标题】:Different ways of hadoop installationhadoop的不同安装方式
【发布时间】:2018-09-04 17:17:40
【问题描述】:

我是 hadoop 新手,正在尝试将它安装在我的本地计算机上。我看到安装 hadoop 有很多方法,例如安装 vmware Horton 工作并在其上安装 hadoop 或安装 Oracle 虚拟机、Cloudera 和 Hadoop。我的问题是是否必须安装一个虚拟机来运行 Hadoop? 换句话说,hadoop 是只能在 Ubuntu、Redhat 等 Linux 操作系统上运行还是我可以直接在 Windows 上安装 hadoop(没有 ant 虚拟机)?

【问题讨论】:

    标签: hadoop installation


    【解决方案1】:

    Hadoop 在 Unix 和 Windows 上运行。 Linux 是唯一受支持的生产平台,但其他风格的 Unix(包括 Mac OS X)可用于运行 Hadoop 进行开发。 Windows 仅支持作为开发平台,另外需要 Cygwin 才能运行。

    如果你有 Linux 操作系统,你可以直接安装 Hadoop 并开始工作。 如果你有 Windows 操作系统,但不了解 Linux(但最终你必须学习),那么你可以使用 virtual box 或 vmware,在你的 windows 机器上运行一个虚拟的 linux 机器。

    使用 Horton 作品或 Cloudera 发行版,是您的 choice,并且位于 Hadoop 之上。

    另外,如果你有一个集群设置,在一些远程机器上,那么你只需要 putty,从 shell 中尝试所有的 hadoop 功能:)。

    【讨论】:

    • 感谢您的回复。我对另一个问题感到困惑。假设我在没有安装任何 vmware 或 virtualbox 的情况下安装了 Hadoop 单节点集群(我的本地 Windows 机器)。由于 hadoop 使用 HDFS 架构存储数据,我的操作系统是否是在 windows 上安装 hadoop 时定制的?我读到 hadoop 中的块大小为 64MB,而传统 Windows 操作系统中的块大小为 4KB。如果我在本地机器上运行 hadoop,并行处理的概念是如何工作的,这是大数据的关键概念/解决方案
    • 嗯,64MB 是用于处理 hadoop 的方式。正如您所提到的,操作系统有自己的块大小 - 4k。即使最终数据是按照操作系统设计存储的,Hadoop 也会负责将数据分成 64 个块,然后根据自己的算法进行检索。这个link1 将为您提供更多帮助
    【解决方案2】:

    Virtualboxvmware 不是强制安装/配置 hadoop。通常人们使用Virtualbox创建多个虚拟机并设置hadoop集群以进行实验。

    Hadoop 在 Redhat/ubuntu 以外的操作系统上运行,例如Mac 操作系统,Windows。

    【讨论】:

    • 感谢您的回复。我对另一个问题感到困惑。假设我安装了 Hadoop 单节点集群(我的本地 Windows 机器)而没有安装任何 vmware 或 virtualbox。由于 hadoop 使用 HDFS 架构存储数据,我的操作系统是否是在 windows 上安装 hadoop 时定制的?我读到 hadoop 中的块大小为 64MB,而传统 Windows 操作系统为 4KB。如果我在本地机器上运行 hadoop,并行处理的概念是如何工作的,这是大数据的关键概念/解决方案。
    • Hadoop 进程/守护进程是 JVM(即 java 进程),它们只不过是在操作系统之上运行的应用程序。安装 hadoop 不会改变你的操作系统。在 HDFS 中,我们可以设置适合应用程序的块大小(默认为 64M)。在 Hadoop 中,数据处理的基本单位是 HDFS 块(不是 OS 块)。
    • hadoop 的关键概念——并行处理可以专门在多节点集群中实现——数据跨多台机器/节点存储并按时间处理。因此并行处理
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-05-28
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多