如果不事先安装 Scala，spark-shell 如何工作？答案

【问题标题】：How can spark-shell work without installing Scala beforehand?如果不事先安装 Scala，spark-shell 如何工作？
【发布时间】：2017-10-27 17:13:18
【问题描述】：

我已下载 Spark 1.2.0（为 Hadoop 2.4 预构建）。在其快速入门文档中，它说：

它可以在 Scala 或 Python 中使用。

让我困惑的是我的电脑之前没有单独安装Scala（OS X 10.10），但是当我输入spark-shell时它运行良好，并且输出显示：

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_25)

如屏幕截图所示：

我之前没有安装任何 Scala 发行版。

如果没有 Scala，spark-shell 如何运行？

【问题讨论】：

标签： apache-spark

【解决方案1】：

tl;dr Scala 二进制文件已经包含在 Spark 中（让 Spark 用户的生活更轻松）。

在Spark Overview 的下载下，您可以了解运行 Spark 所需的内容：

Spark 可在 Windows 和类 UNIX 系统（例如 Linux、Mac OS）上运行。在一台机器上本地运行很容易——你只需要拥有 java 安装在系统 PATH 或 JAVA_HOME 环境变量上指向 Java 安装。

Spark 在 Java 6+ 和 Python 2.6+ 上运行。对于 Scala API，Spark 1.2.0 使用 Scala 2.10。您将需要使用兼容的 Scala 版本 (2.10.x)。

【讨论】：

【解决方案2】：

Scala程序，包括spark-shell，被编译成Java字节码，可以在Java虚拟机（JVM）上运行。因此，只要安装了JVM，即java命令，就可以运行Scala编写的Spark相关工具。

【讨论】：

实际上，spark-shell 可以与原始 scalar shell 相同。如果是这样， spark-shell 背后是什么？只是 JVM 或 JDK ?
它在 JVM 中运行。您可以通过查看 shell 脚本来确认：“spark-shell”和“spark-submit”。顺便说一句，它是“Scala”，而不是标量。