【发布时间】:2015-04-28 14:47:57
【问题描述】:
我想实现 hadoop mapreduce,我使用 csv 文件作为它的输入。所以,我想问一下,有没有hadoop提供的方法来获取csv文件的值,或者我们只是用Java Split String函数来做?
谢谢大家.....
【问题讨论】:
标签: csv hadoop input split mapreduce
我想实现 hadoop mapreduce,我使用 csv 文件作为它的输入。所以,我想问一下,有没有hadoop提供的方法来获取csv文件的值,或者我们只是用Java Split String函数来做?
谢谢大家.....
【问题讨论】:
标签: csv hadoop input split mapreduce
默认情况下,Hadoop 使用文本输入阅读器,从输入文件逐行输入映射器。映射器中的关键是读取的行数。不过要小心 CSV 文件,因为单个列/字段可以包含换行符。您可能想寻找像这样的 CSV 输入阅读器:
但是,您必须在代码中拆分行。
【讨论】: