Apache/Cloudera HUE / Livy Spark Server - InterpreterError: 无法启动解释器

Question

我在这一点上不知所措。我正在尝试使用 Spark 2.4 + Livy Server 0.5.0 在 Apache HUE 4.3 上运行 PySpark/SparkR。我遵循了我能找到的所有指南，但我一直遇到这个问题。基本上，我可以通过命令行运行 PySpark/SparkR，但由于某种原因，HUE 会执行以下操作：

• 忽略我在多个位置（spark-defaults.conf、livy.conf 和 livy-client.conf）设置的所有 Spark 配置（执行程序内存、内核等）
• 成功地为 PySpark 和 SparkR 创建会话，但是当你尝试做任何事情时（即使只是 print(1+1)），我得到 InterpreterError: Fail to start interpreter
• 实际上可以在 HUE 上使用 Scala。 Scala 可以工作，但 PySpark 和 SparkR 在 HUE 上不行（大概是因为 Scala 是基于 java 的）。

我可以提供任何需要的配置。这让我发疯了。

我也无法通过 REST API 与 PySpark 交互，同样的 InterpreterError。这让我相信它比 HUE 更基于 Livy Server。

Answer 1

想通了。我试图在 cluster 模式下在 YARN 上运行 Spark，然后我切换到 client 并修复了它。必须是集群机器上丢失的参考/文件。