【问题标题】:Which Hadoop to use for Mahout 0.9Mahout 0.9 使用哪个 Hadoop
【发布时间】:2014-10-12 08:13:58
【问题描述】:

我正在使用 Mahout Cookbook,其中显示了 Mahout 0.8 的示例并使用 Hadoop 0.23.5。

我是整个系统的新手,所以我想知道在运行 Mahout 0.9 时使用哪个 Hadoop 版本?

谢谢

【问题讨论】:

    标签: hadoop mahout


    【解决方案1】:

    从 maven 中提取 Mahout 0.9 时,它包含 hadoop-core 版本 1.2.1。根据this,Mahout 0.9 版不适用于 hadoop 2。它已在 github 上最新的 master 分支中得到解决,但这需要您从源代码重新编译 mahout 并包含 hadoop 2 库。 Mahout 1.0 应该支持 hadoop 2.X 版本。

    【讨论】:

      【解决方案2】:

      如果您选择使用 Hadoop 2 运行 Mahout 0.9,您可以按照以下步骤使其工作:

      git clone https://github.com/apache/mahout.git
      

      在 Mahout 文件夹中,键入:

      mvn -Dhadoop2.version=2.2.0 -DskipTests clean install
      mvn -Dhadoop2.version=2.2.0 clean package
      

      下面是基于推荐项的使用示例:

      bin/mahout recommenditembased  --input input/input.txt --output output --usersFile input/users.txt --similarityClassname SIMILARITY_COOCCURRENCE
      

      编辑:原始来源是http://mahout.apache.org/developers/buildingmahout.html

      【讨论】:

        【解决方案3】:

        这个版本的 Mahout 也可以使用 hadoop 0.2 核心 jar 运行。 我在 windows 机器上使用它,从 0.2 开始,hadoop 为 windows 系统提供权限异常

        【讨论】:

          猜你喜欢
          • 2014-12-23
          • 2014-07-12
          • 2015-04-07
          • 2011-06-07
          • 1970-01-01
          • 2014-07-02
          • 2012-06-24
          • 2013-07-11
          • 2014-06-29
          相关资源
          最近更新 更多