如何在 Apache spark 中启动程序？

Question

我有一个“myprogram.py”和一个“myprogram.scala”，需要在我的 spark 机器上运行。如何上传和启动它们？

我一直在使用 shell 进行转换和调用操作，但现在我想在 spark 机器上启动一个完整的程序，而不是每次都输入单个命令。此外，我相信这将使我可以轻松地更改我的程序，而不是开始在 shell 中输入命令。

我在 Ubuntu 14.04 中进行了单机安装，而不是集群，使用 spark 1.4.1。

我在网上浏览了 spark 文档，但我只找到有关如何在集群上执行此操作的说明。请帮助我。

谢谢。

Answer 1

执行此操作的文档（如上所述）可在此处获得：http://spark.apache.org/docs/latest/submitting-applications.html

不过，你需要的代码在这里：

# Run application locally on 8 cores
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

您需要使用 sbt 编译 scala 文件（此处的文档：http://www.scala-sbt.org/0.13/tutorial/index.html）

以下是获取正确依赖项所需的 build.sbt 文件的一些信息：http://spark.apache.org/docs/latest/quick-start.html

编译 scala 文件后，您将使用上述提交命令发送生成的 jar。

Answer 2

简单地说：

1. 在 Linux 终端中，cd 到 spark 解压/安装的目录 请注意，此文件夹通常包含“bin”、“conf”、“lib”、“logs”等子文件夹。

2. 要使用简单/默认设置在本地运行 Python 程序，请键入命令

   ./bin/spark-submit --master local[*] myprogram.py

更完整的描述是here，如 zero323 和 ApolloFortyNine 描述的。