如何在 Apache Spark 2 中设置广播工厂方法

【问题标题】：How to setup broadcast factory method in Apache Spark 2如何在 Apache Spark 2 中设置广播工厂方法
【发布时间】：2019-07-19 18:44:04
【问题描述】：

在 Apache Spark 1.X 中，a configuration setting 命名为："spark.broadcast.factory"，您可以在其中选择广播工厂。 Apache Spark 2.X 似乎不再支持该设置（它不在 configurations list 中）。有人如何控制 Apache Spark 2.X 中的广播工厂？什么是默认广播工厂？以前是TorrentBroadcastFactory。

【问题讨论】：

    标签： apache-spark deprecated broadcast


    【解决方案1】：

    此提交已从 2.X 中删除此设置： https://github.com/apache/spark/commit/ee8f8d318417c514fbb26e57157483d466ddbfae#diff-c3302615ef6dce00341e156431369d38

    有关原因的更多详细信息，请参阅此 JIRA：https://issues.apache.org/jira/browse/SPARK-12588 和 https://issues.apache.org/jira/browse/SPARK-18742

    编辑：spark.broadcast.factory 默认设置为TorrentBroadcastFactory

    【讨论】：

      猜你喜欢
      • 1970-01-01
      • 2017-04-02
      • 1970-01-01
      • 1970-01-01
      • 2015-04-18
      • 1970-01-01
      • 1970-01-01
      • 2016-01-30
      • 1970-01-01
      相关资源
      最近更新 更多
      热门标签
      Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode