如何在 HDP（Hortonworks 数据平台）中安装 scala 库答案

【问题标题】：How to install scala libraries in HDP (Hortonworks Data Platform)如何在 HDP（Hortonworks 数据平台）中安装 scala 库
【发布时间】：2016-08-14 01:02:49
【问题描述】：

提前感谢您阅读本文的时间，并为我的英语不好感到抱歉。

我正在尝试使用 Spark 流进行实时数据处理。我在 HDP（Hortonworks 数据平台）中安装了 Spark，对于我的过程，我需要安装一个用于 JSONparsing 的 scala 库。我在互联网上阅读了很多关于此的内容，但它只是针对一个简单的 Spark 集群，而不是针对 HDP 和 CDH 之类的解决方案，我尝试调整解决方案但我做不到，我找不到任何 scala 文件来安装它.有人知道帮助我的解决方案或提示吗？谢谢你

【问题讨论】：

Zeppelin 应该已经可以使用 Spark 和 Scala。参考：hortonworks.com/hadoop-tutorial/…
确实是的，但我想添加一个不包括在内的 scala 库。
我明白了。我只弄乱了 Zeppelin 一次，但你应该能够更新 Scala 的类路径以添加外部库，不是吗？
我希望，但我没有找到定义 Scala 类路径的文件
为什么需要安装它们？你可以 --jars 添加库。

标签： scala hadoop apache-spark spark-streaming hortonworks-data-platform

【解决方案1】：

要在 Zeppelin 中为 Spark 加载依赖项，您需要创建一个新单元并使用以下内容：

%dep
// it's a good idea to do a reset first, but not required
z.reset()
// the following line will load directly from the Maven online repo
z.load("org.apache.spark:spark-streaming-karka_2.10:1.6.1")

可以在此处找到有关加载 Zeppelin 依赖项的其他详细信息： https://zeppelin.apache.org/docs/latest/interpreter/spark.html#3-dynamic-dependency-loading-via-dep-interpreter

这里有一点需要注意的是，依赖加载必须是您在笔记本上运行的第一个单元格，如果不是，它将给您一条错误消息。要解决此问题，请单击 Interpreter 选项卡并单击 Spark Interpreter 上的重新启动，然后返回您的笔记本并使用 %dep

运行单元格

【讨论】：