将 .jhist 文件转换为 JSON 格式答案

【问题标题】：Converting .jhist files to JSON format将 .jhist 文件转换为 JSON 格式
【发布时间】：2015-12-17 11:38:54
【问题描述】：

如何在 OSX 中将 .jhist 文件转换为 json 格式？

我想知道是否有经过验证的软件包或命令可以这样做？

关于.jhist files：MapReduce 作业的另一个重要日志是作业历史文件（.jhist）。这些文件包含有关 Mappers 和 Reducers 执行的大量性能数据，包括 HDFS 统计信息、处理的数据量、分配的内存等。我们将 History Server 配置为使用 mapreduce.jobhistory.done-dir 定期将 jhist 文件写入 HDFS yarn-site.xml 中的参数

【问题讨论】：

我什至无法搜索 jhsit 的文件格式规范。维基上什么都没有。如果你想得到答案，你应该提供更多信息。
我更新了问题！
您没有提供规范（模式）。如果是 XML 类型的文档，则使用 XML 到 JSON 转换。请提供 jhist 文件的规格

标签： json macos type-conversion

【解决方案1】：

如果您对完整的日志历史感兴趣，可以parse as an avro file。如果您对带有聚合计数器的大型 json 文件感兴趣，可以查看 Rumen，这是 apache 生态系统中的一种解析工具。

Rumen 运行示例：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-rumen-2.5.0-cdh5.2.6.jar \
    org.apache.hadoop.tools.rumen.TraceBuilder \
    file:///tmp/job-trace.json \
    file:///tmp/job-topology.json \
    file:///sample-job-histories/job_201211091010_0001_1352484738664_word+count

你在 job-trace.json 中获得聚合计数器，在 job-topology.json 中获得拓扑

【讨论】：