Spark匿名函数字节码答案

【问题标题】：Spark anonymous function bytecodeSpark匿名函数字节码
【发布时间】：2016-11-28 22:56:20
【问题描述】：

我很好奇这是否是一种查看匿名类的字节码的方法，该类在 Spark shell 环境中创建为[238]，例如

org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[238]。

【问题讨论】：

为什么需要字节码？你想达到什么目的？
原因主要是好奇。检查 Spark Web UI 上的 DAGScheduler 有时会给我一串 3 个匿名类，只针对一个简单的.map。我觉得在不提供更多细节的情况下列出这些匿名类是没有用的。

【解决方案1】：

MapPartitionsRDD[238] 表示这是在此上下文中创建的第 239 个（编号从 0 开始）RDD。这并不意味着创建了匿名类。

SparkContext 保存有关此上下文中 RDD 数量的信息

【讨论】：