【问题标题】:Load external jars to Zeppelin from s3从 s3 将外部 jars 加载到 Zeppelin
【发布时间】:2019-07-23 07:41:45
【问题描述】:

非常简单的目标。将我的自定义/本地 jar 从 s3 加载到 zeppelin notebook(使用来自 AWS EMR 的 zeppelin)。

罐子的位置

s3://my-config-bucket/process_dataloader.jar

zeppelin documentation之后,我打开了如下图所示的解释器,属性名称中的spark.jars,其值为s3://my-config-bucket/process_dataloader.jar

我重新启动解释器,然后在笔记本中尝试使用以下命令导入 jar

import com.org.dataloader.DataLoader

但它会抛出以下内容

<console>:23: error: object org is not a member of package com
       import com.org.dataloader.DataLoader 

对解决这个问题有什么建议吗?

【问题讨论】:

  • 您的屏幕截图中有错字。 “spark.jars”应该是“spark.jars”。
  • 如果没有这个错字,它也无法工作,至少在 Zeppelin 0.8.1 中(AWS EMR 中最新可用)。

标签: apache-spark jar apache-zeppelin


【解决方案1】:

有点晚了,但对于将来可能需要此功能的其他人,请尝试以下选项,

https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar" 基本上是您的 s3 对象 url。

%spark.dep
z.reset()
z.load("https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar")

【讨论】:

    猜你喜欢
    • 2018-12-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-03-14
    • 1970-01-01
    • 2023-02-24
    • 1970-01-01
    • 2016-06-07
    相关资源
    最近更新 更多