Hadoop：用于可视化开发关键值数据和文件的工具

Question

是否有任何简单、易于启动的 java 工具用于可视化 map reduce 作业目录中的键/值数据？

具体来说，我想浏览一个包含 20 个作业的 map reduce 工作流程，单击单个文件并查看数据，甚至可能查看文件大小的直方图。

• 这里有一些警告，例如 -

  • 有些文件有序列化数据（不仅仅是文本）
  • 显然，这个系统在“云规模”上使用可能会很愚蠢，而不是它的开发工具。

尽管如此，这样的工具对于开发和本地调试大型连接的 m/r 管道很有用。

这是出于开发目的（我不是试图在真实集群中可视化分布式键/值 hadoop 数据）。

Answer 1

查看KarmaSphere Studio

逐步监控作业执行
- 带结果的工作流：显示 MapReduce 作业每个步骤的结果输出。
- 来自桌面的 Hadoop 日志：从桌面轻松访问 Hadoop 日志。
- 作业失败选项：允许指定作业失败选项，例如在 EMR 作业失败时自动调用指定脚本。