【问题标题】:How can I compile a scala project in eclipse with dependencies?如何在 Eclipse 中编译带有依赖项的 scala 项目?
【发布时间】:2019-11-01 20:44:42
【问题描述】:

我正在做一个从 MySQL 获取数据的 scala-spark 应用程序。如果我从 Eclipse 运行,它可以工作。但是,如果我创建 .jar 并使用 spark-submit 执行它不起作用,并出现错误:

Exception in thread "main" java.sql.SQLException: No suitable driver

所以我认为创建的 jar 没有依赖项。我想我没有设置正确的插件来编译 pom.xml 的依赖项。你知道是哪个插件来做的吗?

谢谢,问候!

【问题讨论】:

  • 你需要创建一个 fat jar,这样当你使用 spark-submit 命令运行你的 jar 文件时你所有的依赖 jar 都是可用的,更多细节check this url

标签: scala maven apache-spark jar


【解决方案1】:

你可以在 spark-submit 中使用 "--jars $(echo lib/*.jar | tr ' ' ',')" 选项,并将你所有的依赖 jar 放在 lib 文件夹中。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 2016-05-18
  • 1970-01-01
  • 2012-07-16
  • 2015-10-27
  • 2012-11-15
  • 1970-01-01
  • 1970-01-01
  • 2015-12-24
相关资源
最近更新 更多