【问题标题】:How to create Maven Project in intellij and scala for spark如何在intellij和scala中为spark创建Maven项目
【发布时间】:2020-01-14 04:47:00
【问题描述】:

我们是否需要分别安装hadoop和spark并在hadoop home上设置winutils并配置环境变量

我们创建maven项目并将所有依赖写入POM文件。

我正在使用 intellij scala 插件和 spark

简而言之:我如何使用 spark 和 scala 在 intellij 中创建 Maven 项目 如果得到一些建议非常有帮助。我检查了你管下面的链接。 链接:https://youtu.be/cU3FshbeeFo,但我怀疑我是否必须在 hadoop_home 和 spark_home 中获取 winutils。

请帮助我提出您的建议。

【问题讨论】:

标签: scala maven apache-spark intellij-idea


【解决方案1】:

为了通过 Maven 使用 scala 构建你的包,你不需要安装 spark 和 winutils.exe。 Scala 本身足以构建和获取 jar 可执行文件。但是如果你想在本地机器上测试你的代码,那么它是必需的。

【讨论】:

    【解决方案2】:

    您可以打开 Intellij 并转到:

    1) 文件 > 新建 > 项目

    2) 然后点击复选框“从原型创建”

    3)选择选项——“org.apache.maven.archtypes:maven-archetype-webapp”,点击下一步

    4) 给出 group-id 和 artifactid .example : groupid = com.sample.project artifactid: 示例项目

    然后点击下一步

    5) 下一个屏幕将是 maven 屏幕.. 你可以看看下一个

    6) 接下来它会询问项目名称:给出任何名称并选择完成

    【讨论】:

      猜你喜欢
      • 2019-08-07
      • 1970-01-01
      • 2015-08-09
      • 2016-10-25
      • 2017-12-21
      • 2021-01-29
      • 2018-06-01
      • 1970-01-01
      • 2018-07-15
      相关资源
      最近更新 更多