Hadoop 和 NLTK：因停用词而失败

Question

我正在尝试在 Hadoop 上运行 Python 程序。该程序涉及 NLTK 库。该程序还利用了 Hadoop Streaming API，如 here 所述。

ma​​pper.py：

#!/usr/bin/env python
import sys
import nltk
from nltk.corpus import stopwords

#print stopwords.words('english')

for line in sys.stdin:
        print line,

reducer.py：

#!/usr/bin/env python

import sys
for line in sys.stdin:
    print line,

控制台命令：

bin/hadoop jar contrib/streaming/hadoop-streaming.jar \ -file /hadoop/mapper.py -mapper /hadoop/mapper.py -file /hadoop/reducer.py -reducer /hadoop/reducer.py -input /hadoop/input.txt -output /hadoop/output

这完美运行，输出仅包含输入文件的行。

但是，当这一行（来自 mapper.py）：

#print stopwords.words('english')

是未注释，然后程序失败并说

作业不成功。错误：超出允许的失败地图任务数 限制。失败次数：1。

我已经检查并在一个独立的 python 程序中，

打印 stopwords.words('english')

工作得非常好，所以我完全不知道为什么它会导致我的 Hadoop 程序失败。

我将不胜感激任何帮助！谢谢

Answer 1

'english' 是 print stopwords.words('english') 中的一个文件吗？如果是，您也需要使用 -file 来跨节点发送。

Answer 2

使用这些命令解压：

importer = zipimport.zipimporter('nltk.zip')
    importer2=zipimport.zipimporter('yaml.zip')
    yaml = importer2.load_module('yaml')
    nltk = importer.load_module('nltk')

检查我在上面粘贴的链接。他们提到了所有的步骤。