如何让 mahout 与 hadoop HDFS 交互答案

【问题标题】：How to make mahout interact with hadoop HDFS如何让 mahout 与 hadoop HDFS 交互
【发布时间】：2014-07-17 22:54:53
【问题描述】：

我使用的是 HDP mahout 0.8 版。我设置了MAHOUT_LOCAL=""。当我运行 mahout 时，我看到消息 HADOOP LOCAL NOT SET RUNNING ON HADOOP 但我的程序没有将输出写入 HDFS 目录。

谁能告诉我如何让我的 mahout 程序从 HDFS 获取输入并将输出写入 HDFS？

【问题讨论】：

标签： hadoop machine-learning mahout

【解决方案1】：

您是否在 PATH 上设置了 $MAHOUT_HOME/bin 和 $HADOOP_HOME/bin ？

例如在 Linux 上： export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/

然后，几乎所有 Mahout 的命令都使用选项 -i（输入）和 -o（输出）。

例如：

mahout seqdirectory -i <input_path> -o <output_path> -chunk 64

【讨论】：

【解决方案2】：

假设你有你的 mahout jar 构建，它接受输入并写入 hdfs。执行以下操作：

来自 hadoop bin 目录：

./hadoop jar /home/kuntal/Kuntal/BIG_DATA/mahout-recommender.jar mia.recommender.RecommenderIntro  --tempDir /home/kuntal/Kuntal/BIG_DATA --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.GenericItemBasedRecommender

#Input Output Args specify if required
-Dmapred.input.dir=./ratingsLess.txt -Dmapred.output.dir=/input/output

请检查： http://chimpler.wordpress.com/2013/02/20/playing-with-the-mahout-recommendation-engine-on-a-hadoop-cluster/

【讨论】：