rstudio like repl for spark-shell答案

【问题标题】：rstudio like repl for spark-shellrstudio like repl for spark-shell
【发布时间】：2017-12-08 23:58:11
【问题描述】：

我正在寻找一种与spark-shell 类似的交互方式，类似于rstudio。我的使用很简单——我想在编辑器中编写代码，在 spark shell 的终端中逐行执行。我已经尝试过 Jupyter notebooks 和 Zeppelin，但它们似乎还没有像 Python 后端那样准备好。目前我每次都剪切和粘贴，但不久之后就会变得很累。谷歌搜索没有找到任何我认为有用的东西。

【问题讨论】：

不用编辑器写，不如直接用spark-shell写代码。您是否期待编辑器中某个类的方法建议......？
我希望我的代码可重用并保存到文件中，稍后作为整个脚本运行。
你检查过这个stackoverflow.com/questions/44346776/… 吗？

标签： shell apache-spark read-eval-print-loop

【解决方案1】：

有两种选择：

在 Intellij IDEA 中使用 Scala 工作表。它可以在您键入时同时显示结果。无需每次复制粘贴代码。请参考此问题进行设置：How to setup Intellij 14 Scala Worksheet to run Spark
通过调整 Atom 文本编辑器构建您自己的环境。 atom 中有各种插件来包含终端和代码编辑器。安装其中一个并在终端中打开 spark REPL。如果你愿意，你可以添加一个快捷方式从编辑器中运行 REPL 中的选定代码（如 Rstudio 中的 ctrl+enter）参考：https://atom.io/packages/terminal-plus

【讨论】：

【解决方案2】：

您可以使用 Jupyter notebook，但您需要安装相应的内核并配置到 Jupyter。
All available kernels for Jupyter

正如你所说的 spark-shell，我假设你正在编写 scala 代码。
Scala 的可用内核是：sparkmagic 和 Jupyter-scala

截至目前，Jupyter 将允许您将脚本下载为扩展名为 .py 的文件
更改其扩展和编译将是开销（即使它可以在一定程度上减少您的工作）

【讨论】：

我尝试过 toree 和 SparkNotebook。似乎笔记本目前不是我想要的。