【问题标题】:How to add customized jar in Jupyter Notebook in Scala如何在 Scala 的 Jupyter Notebook 中添加自定义 jar
【发布时间】:2019-03-15 19:41:27
【问题描述】:

我需要在我的 Scala 脚本中使用第三方 jar (mysql),如果我使用 spark shell,我可以在启动命令中指定 jar,如下所示:

spark2-shell --driver-class-path mysql-connector-java-5.1.15.jar --jars /opt/cloudera/parcels/SPARK2/lib/spark2/jars/mysql-connector-java-5.1.15.jar

但是,如何在 Jupyter 笔记本中执行此操作?我记得在 pyspark 中有一种神奇的方法可以做到这一点,我使用的是 Scala,但我无法更改我正在使用的内核的环境设置。

【问题讨论】:

    标签: scala jupyter-notebook jupyter


    【解决方案1】:

    我现在有了解决办法,确实很简单,如下:

    1. 使用基于 toree 的 Scala 内核(我正在使用)
    2. 使用 AddJar:在 notebook 中运行它,jar 将被下载,瞧!

    就是这样。

    AddJar http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.15/mysql-connector-java-5.1.15.jar
    

    【讨论】:

    • 请注意,需要在 AddJar 之前添加 % 符号。那是%AddJar http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.15/mysql-connector-java-5.1.15.jar
    • @mdivk 有没有办法在不使用 Toree 的情况下做到这一点?
    • @coder1416,请参阅我在stackoverflow.com/questions/63854636/… 的回答以获得干净的杏仁版本。
    • 如果是本地的,如何指定jar的路径?
    猜你喜欢
    • 1970-01-01
    • 2016-06-27
    • 1970-01-01
    • 2018-02-25
    • 2020-09-19
    • 1970-01-01
    • 2012-08-06
    • 1970-01-01
    • 2022-06-16
    相关资源
    最近更新 更多