评估 spark 广播变量的最大大小

【问题标题】：Evaluate the max size for a spark broadcast variable评估 spark 广播变量的最大大小
【发布时间】：2016-08-30 11:23:01
【问题描述】：

我正在尝试测量可以使用 spark 广播进行广播的变量的最大大小。

我没有找到关于这个问题的任何解释。

有人测量过吗？ spark有广播大小的配置吗？

【问题讨论】：

【解决方案1】：

广播限制现已增加到 8 GB。你可以找到详情here。

【讨论】：

【解决方案2】：

目前约为 2GB。您广播的任何内容都会在序列化期间转换为 java 字节数组，并且由于 java 数组具有最大大小 Integer.MAX_VALUE，您会得到此限制。目前可能有一些努力增加此限制：SPARK-6235

【讨论】：