如何使用 sbt 或 Metals 从 vscode 开发和运行 spark scala

Question

我正在尝试学习 Spark Scala。我能够在 Eclipse 中开发和运行它们。我想使用 VSCode，谷歌搜索了一段时间后，我没有找到任何合适的帖子来解释如何设置 sbt 文件和运行。我还遇到了一个名为“Metals”的新插件，用​​于 VSCode 来构建 Spark Scala 代码，但同样没有合适的材料可以实现。询问是否有人可以帮助我或将我引导到任何帖子以实现我的目标。

谢谢 升

Answer 1

首先，您必须在项目文件夹中创建一个build.sbt 文件，其中包含最少的内容，例如：

name := "Simple Project"
version := "1.0"
scalaVersion := "2.12.10"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.0.0-preview2"

保存文件后，如果您从 VS Code 打开此文件夹，您应该会看到以下消息：

单击导入构建，您应该一切就绪。

如果您遇到问题（例如缺少库），metals 应该将其记录到它的 Output 窗口中。

如果没有弹出对话框，请转到您的控制台并手动发出sbt package 以确保您的环境设置正确。

要运行代码，只需按 ^F5。它将创建一个默认的launch.json 文件，您可以在其中指定构建目标。语法高亮、格式化和代码检查等其他任何东西都可以开箱即用。

如果您想在本地运行 Spark 代码，只需将 .config("spark.master", "local") 添加到您的 SparkConfig。