【发布时间】：2025-11-28 19:30:01
【问题描述】：
如果我有一个从多个 csv 文件读取并生成键值对的 map.py 文件，我如何将它们传递给我的 reducer.py 并在本地进行测试？
【问题讨论】：
-
以伪模式安装hadoop
标签： python hadoop mapreduce bigdata
【发布时间】：2025-11-28 19:30:01
【问题描述】：
如果您使用的是 hadoop 流，那么您可以像这样在本地测试您的脚本：
cat *.csv | map.py | sort -k1,1 | reducer.py
要在hadoop-streaming中将数据从mapper传递到reducer，只需将"<key>\t<value>"写入stdout
【讨论】：
-
这就是我所接受的。但改为使用 sort -n