Hadoop 从 HDFS 读取 JSON答案

【问题标题】：Hadoop read JSON from HDFSHadoop 从 HDFS 读取 JSON
【发布时间】：2020-02-21 16:28:37
【问题描述】：

我正在尝试将 JSON 文件读入我的 hadoop mapreduce 算法。我怎样才能做到这一点？我已将文件“testinput.json”放入 HDFS 内存的 /input 中。

当调用 mapreduce 时，我执行 hadoop jar popularityMR2.jar populariy input output，输入说明 dhfs 内存中的输入目录。

public static class PopularityMapper extends Mapper<Object, Text, Text, Text>{


    protected void map(Object key, Text value,
                       Context context)
            throws IOException, InterruptedException {

        JSONParser jsonParser = new JSONParser();
        try {
            JSONObject jsonobject = (JSONObject) jsonParser.parse(new FileReader("hdfs://input/testinput.json"));
            JSONArray jsonArray = (JSONArray) jsonobject.get("votes");

            Iterator<JSONObject> iterator = jsonArray.iterator();
            while(iterator.hasNext()) {
                JSONObject obj = iterator.next();
                String song_id_rave_id = (String) obj.get("song_ID") + "," + (String) obj.get("rave_ID")+ ",";
                String preference = (String) obj.get("preference");
                System.out.println(song_id_rave_id + "||" + preference);
                context.write(new Text(song_id_rave_id), new Text(preference));
            }
        }catch(ParseException e) {
            e.printStackTrace();
        }
    }

}

我的映射器函数现在看起来像这样。我从 dhfs 内存中读取文件。但它总是返回错误，找不到文件。

有人知道我如何将这个 json 读入 jsonobject 吗？

谢谢

【问题讨论】：

或者我需要在这里使用 InputstreamReader 吗？如果有，怎么做？

标签： json hadoop mapreduce reader

【解决方案1】：

FileReader 无法从 HDFS 读取，只能从本地文件系统读取。
文件路径来自 Job 参数 - FileInputFormat.addInputPath(job, new Path(args[0]));

无论如何，您不会在 Mapper 类中读取文件。

MapReduce 默认读取以行分隔的文件，因此您的 JSON 对象必须是每行一个，例如

{"votes":[]}
{"votes":[]}

从映射器中，您可以像这样将 Text 对象解析为 JSONObject

 protected void map(LongWritable key, Text value, Context context)
        throws IOException, InterruptedException {

    JSONParser jsonParser = new JSONParser();
    try {
        JSONObject jsonobject = (JSONObject) jsonParser.parse(value.toString());
        JSONArray jsonArray = (JSONArray) jsonobject.get("votes");

如果文件中只有一个 JSON 对象，那么您可能不应该使用 MapReduce。

否则，您必须实现 WholeFileInputFormat 并将其设置在作业中

job.setInputFormatClass(WholeFileInputFormat.class);

【讨论】：

【解决方案2】：

尝试使用以下函数使用 pydoop 库从 HDFS 路径读取 JSON，它按预期工作。希望它有所帮助。

import pydoop.hdfs as hdfs

def lreadline(inputJsonIterator):
    with hdfs.open(inputJsonIterator,mode='rt') as f:
        lines = f.read().split('\n')
    return lines

【讨论】：