【问题标题】:How to create Maven Project in intellij and scala for spark如何在intellij和scala中为spark创建Maven项目
【发布时间】:2020-01-14 04:47:00
【问题描述】:
我们是否需要分别安装hadoop和spark并在hadoop home上设置winutils并配置环境变量
我们创建maven项目并将所有依赖写入POM文件。
我正在使用 intellij scala 插件和 spark
简而言之:我如何使用 spark 和 scala 在 intellij 中创建 Maven 项目
如果得到一些建议非常有帮助。我检查了你管下面的链接。
链接:https://youtu.be/cU3FshbeeFo,但我怀疑我是否必须在 hadoop_home 和 spark_home 中获取 winutils。
请帮助我提出您的建议。
【问题讨论】:
标签:
scala
maven
apache-spark
intellij-idea
【解决方案1】:
为了通过 Maven 使用 scala 构建你的包,你不需要安装 spark 和 winutils.exe。 Scala 本身足以构建和获取 jar 可执行文件。但是如果你想在本地机器上测试你的代码,那么它是必需的。
【解决方案2】:
您可以打开 Intellij 并转到:
1) 文件 > 新建 > 项目
2) 然后点击复选框“从原型创建”
3)选择选项——“org.apache.maven.archtypes:maven-archetype-webapp”,点击下一步
4) 给出 group-id 和 artifactid .example :
groupid = com.sample.project
artifactid: 示例项目
然后点击下一步
5) 下一个屏幕将是 maven 屏幕.. 你可以看看下一个
6) 接下来它会询问项目名称:给出任何名称并选择完成