Spark 2.2 commons-lang3

Question

我正在使用 Spark 2.2 快照（它包含我需要的修复）。我可以通过启动“本地”火花来运行我的应用程序，一切都很好。当我使用 spark-submit 运行作业时，出现以下错误：

17/04/19 13:25:42 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 192.168.13.231, executor 0): java.io.InvalidClassException:
org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3

有一些与此问题相关的帖子，这些帖子表明不兼容是由类路径上的旧版本 commons-lang3 引起的。但是我已经明确设置了 commons-lang3 (3.5) 的版本，验证了应用程序只依赖于 3.5（使用 sbt-dependency-graph），甚至从生成的 jar 中删除了所有 commons-lang3 文件。这些都没有解决问题。

这里非常感谢任何帮助 - 如果旧依赖项不在提交的 jar 文件中，那么 spark 会在哪里获取它？我是否完全误解了错误消息？

谢谢

Answer 1

以防万一这对任何人都有帮助 - jar 冲突来自已添加到 spark 的 alluxio 客户端。虽然我还没有尝试过，但我认为将这个版本与 spark 版本平方就可以了。