如何解决 Spark 中的包加载错误答案

【问题标题】：How to troubleshoot package loading error in spark如何解决 Spark 中的包加载错误
【发布时间】：2017-05-03 14:45:40
【问题描述】：

我在 HDInsight 中将 spark 与 Jupyter notebook 一起使用。我正在使用 %%configure “魔术”来导入包。每次包有问题，spark都会崩溃并报错：

代码因致命错误而失败：状态 'shutting_down' not 受会话支持..

或

代码因致命错误而失败：会话 28 意外达到“死亡”的最终状态。查看日志：

通常问题是我输入错误的包名，所以经过几次尝试后我可以解决它。现在我正在尝试导入 spark-streaming-eventhubs_2.11 并且我认为我的名字是正确的，但我仍然收到错误。我查看了各种日志，但仍然找不到显示任何相关信息的日志。知道如何解决类似的错误吗？

%%configure -f
{ "conf": {"spark.jars.packages": "com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5" }}

附加信息：当我运行时

spark-shell --conf spark.jars.packages=com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5

shell 启动正常，并下载包

【问题讨论】：

标签： apache-spark jupyter-notebook azure-eventhub

【解决方案1】：

我终于能够找到包含错误的日志文件。有两个日志文件可能很有趣

Livy 日志：livy-livy-server.out
纱线原木

在我的 HDInsight 群集上，我通过使用 SSH 连接到一个头节点并在此路径下载一个文件找到了 livy 日志（此日志不包含有用的信息）：

/var/log/livy/livy-livy-server.out

实际错误出现在 YarnUI 可访问的纱线日志文件中。在 HDInsight Azure Portal 中，进入“Cluster dashboard”->“Yarn”，找到你的 session（KILLED 状态），点击表格中的“Logs”，找到“Log Type: stderr”，点击“click here for full log” .

我的问题是 spark-streaming_2.11 和 Livy 的依赖项之一之间的 Scala 版本不兼容。这应该是固定的 Livy 0.4。更多信息here

【讨论】：