Spark RDD 沿袭图表示答案

【问题标题】：Spark RDD lineage graph representationSpark RDD 沿袭图表示
【发布时间】：2017-12-07 18:33:25
【问题描述】：

我想知道是否有办法使用由将 spark api RDD.toDebugString() 的功能转换为更结构化的格式，因此可用于自动获取图形表示，例如使用 graphviz。

但我想将toDebugString() 中的信息转换为结构化格式，然后决定使用哪种图形格式来表示。

【问题讨论】：

【解决方案1】：

toDebugString() 在内部迭代 RDD 的递归结构，构建可显示的字符串。

不要让toDebugString() 返回更结构化的输出，而是读取其内部实现（确实依赖于结构化数据），并对其进行修改以以适合您的方式保存数据。

您不必等待 JIRA 上的任何问题，只需 DIY :)

【讨论】：

【解决方案2】：

使用默认在 4040 端口上运行的 spark UI 可以看到更详细和格式化的视觉表示。这是显示所有细节的屏幕截图：

【讨论】：