在 EMR Notebooks 中添加外部 jar

Question

我使用 EMR Notebook 连接到 EMR 集群。内核是 Spark，语言是 Scala。我需要一些位于 S3 存储桶中的罐子。 如何添加罐子？

如果是“spark-shell”，这很容易：

spark-shell --jars "s3://some/path/file.jar, s3://some/path/faile2.jar"

我也可以在 scala 控制台中做

:需要 s3://some/path/file.jar

Answer 1

把它放在你的第一段：

%%configure -f
{
    "conf": {
        "spark.jars": "s3://YOUR_BUCKET/YOUR_DRIVER.jar"
    }
}

Answer 2

启动笔记本后，您可以在单元格中执行此操作：

%%configure -f
{
"conf": {"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3"},

"jars": [
        "//path to external downloaded jars"
    ],

}