【问题标题】:Programmatically add jar to zeppelin spark interpreter via API通过 API 以编程方式将 jar 添加到 zeppelin spark 解释器
【发布时间】:2016-12-04 17:25:19
【问题描述】:

不推荐使用%dep 将 jars 添加到 Zeppelin。我们建议在这里使用点击按钮:http://zeppelin.apache.org/docs/0.7.0-SNAPSHOT/manual/dependencymanagement.html

这种方法很烦人,因为我想不出自动化的方法。使用%dep 的好处是您可以使用笔记本 API 来加载 jar。这很棒,因为我们通过笔记本运行一些 E2E 测试,因此需要一种自动加载 jar 的方法。

有没有人想出一种不使用%dep 来加载 jar 的编程方式?

【问题讨论】:

    标签: apache-spark apache-zeppelin


    【解决方案1】:

    %dep 将被弃用,但有很多用户要求保留它。所以%dep deprecation 最近在 master 分支中被移除,并且从 0.7.0 版本开始不再显示。

    另一种方法是使用 rest api。这与 GUI 依赖管理的逻辑相同。

    curl -w "%{http_code}" -H 'Content-Type:application/json' \
      -XPUT http://192.168.99.100:8080/api/interpreter/setting/{interpreterId} \
      -d '{"dependencies":[
        {
          "groupArtifactVersion":"/usr/zeppelin/ml-view-assembly.jar",
          "exclusions":[]
        }
    ]}'
    

    请务必使用/api/interpreter/setting 而不是/api/interpreter 获取您的interpreterId,因为后者相当混乱地给出了一些随机无用的ID。

    【讨论】:

    • 看起来很有希望,谢谢。不过,当我这样做时,它似乎会清除 Spark 解释器的其他设置。然后当我尝试在笔记本中使用%spark 单元格时,我得到java.lang.ClassNotFoundException: org.apache.zeppelin.spark.SparkInterpreter
    猜你喜欢
    • 2017-05-02
    • 2019-06-11
    • 1970-01-01
    • 1970-01-01
    • 2021-02-01
    • 2018-05-08
    • 2018-12-05
    • 1970-01-01
    • 2018-09-01
    相关资源
    最近更新 更多