使用 Python 运行 MapReduce 流作业时出错答案

【问题标题】：Error running a MapReduce streaming job using Python使用 Python 运行 MapReduce 流作业时出错
【发布时间】：2014-04-23 02:24:09
【问题描述】：

我正在尝试运行此映射器和缩减器代码（*免责声明 - 培训课程解决方案的一部分）

mapper.py

import sys

for line in sys.stdin:
    data = line.strip().split("\t")
    if len(data) == 6:
        date, time, store, item, cost, payment = data
        print "{0}\t{1}".format(1, cost)

reducer.py

import sys

sTotal = 0
trans = 0

for line in sys.stdin:
    data_mapped = line.strip().split("\t")
    if len(data_mapped) != 2:
        continue

    sTotal += float(data_mapped[1])
    trans += 1

print transactions, "\t", salesTotal

不断抛出此错误：

UNDEF/bin/hadoop job  -Dmapred.job.tracker=0.0.0.0:8021 -kill job_201404041914_0012
14/04/04 23:13:53 INFO streaming.StreamJob: Tracking URL: http://0.0.0.0:50030/jobdetails.jsp?jobid=job_201404041914_0012
14/04/04 23:13:53 ERROR streaming.StreamJob: Job not successful. Error: NA
14/04/04 23:13:53 INFO streaming.StreamJob: killJob...
Streaming Command Failed!

我尝试过显式调用 python 函数以及指定 python 解释器。（即 /usr/bin/env python）

知道哪里出错了吗？

【问题讨论】：

Jay Setti : 你能告诉你执行的命令吗
提供的信息不足以调试，请检查日志文件以获取任何其他信息。

标签： hadoop mapreduce hadoop-streaming

【解决方案1】：

作业失败，因为您的 reducer.py 有语法错误。

问题出在这一行：

print transactions, "\t", salesTotal

没有名称为 transactions 和 salesTotal 的变量。

如果我在本地执行它，我会得到这个错误：

Traceback (most recent call last):
  File "r.py", line 14, in <module>
    print transactions, "\t", salesTotal
NameError: name 'transactions' is not defined

正确的行应该是：

print trans, "\t", sTotal

【讨论】：