【问题标题】:Loading jar dynamically to Spark driver in Jupyter notebook将 jar 动态加载到 Jupyter 笔记本中的 Spark 驱动程序
【发布时间】:2019-03-03 01:31:44
【问题描述】:

我想将 jar 文件动态加载到 Juptyer (Scala) 中的 Spark 驱动程序。 sparkContext.addJar 方法似乎将其加载到执行程序。有没有办法将其加载到驱动程序中?

谢谢, 克里希纳

【问题讨论】:

    标签: apache-spark jupyter-notebook


    【解决方案1】:

    这是不可能的,很遗憾 - https://issues.apache.org/jira/browse/SPARK-5377

    【讨论】:

      【解决方案2】:

      在启动 spark-shell 之前将 jar 添加到 SPARK_CLASSPATH 环境变量。

      conf/spark-env.sh 在你的库中包含一个 JAR。

      更多details

      【讨论】:

      • 这是在 jupyter notebook 场景中,启动前我没有 JAR 文件。我需要在执行过程中动态加载它。
      • %AddJar cmd 似乎特定于 IBM 笔记本,在我使用的 jupyter 版本中不可用 (HDInsight)
      猜你喜欢
      • 1970-01-01
      • 2021-05-17
      • 2016-01-02
      • 2017-09-24
      • 1970-01-01
      • 1970-01-01
      • 2021-04-07
      • 2018-10-05
      • 1970-01-01
      相关资源
      最近更新 更多