Ubuntu 20.04 中的 Maven Spark 源代码构建失败答案

【问题标题】：Maven Spark Source Code Build Fails in Ubuntu 20.04Ubuntu 20.04 中的 Maven Spark 源代码构建失败
【发布时间】：2022-04-13 22:22:36
【问题描述】：

我正在尝试使用 mvn build 构建 Spark 3.1.1 源代码，如下所示：

./build/mvn -DskipTests 清理包

但是构建失败而没有给出任何正确的错误，如下所示

杀死 13456 "${MVN_BIN}" -DzincPort=${ZINC_PORT} "$@"

非常感谢任何帮助。

我的环境如下：操作系统：Ubuntu 20.04 Java：Java HotSpot(TM) 64 位服务器虚拟机警告：忽略选项 MaxPermSize=1G；在 8.0 中删除了支持 java版本“1.8.0_271” Java(TM) SE 运行时环境 (build 1.8.0_271-b09) Java HotSpot(TM) 64 位服务器 VM（内部版本 25.271-b09，混合模式）火花版本：火花3.1.1

【问题讨论】：

欲了解更多信息，我已经发布了来自我执行 mvn build 命令的终端的消息，如下所示：
[INFO] 使用混合编译顺序的增量编译 [INFO] 编译器桥文件：/home/hduser/.sbt/1.0/zinc/org.scala-sbt/org.scala-sbt-compiler -bridge_2.12-1.3.1-bin_2.12.10__52.0-1.3.1_20191012T045515.jar [INFO] 编译器插件：BasicArtifact(com.github.ghik,silencer-plugin_2.12.10,1.6.0,null) [INFO]将 326 个 Scala 源代码和 103 个 Java 源代码编译到 /home/hduser/Desktop/spark-3.1.1/sql/catalyst/target/scala-2.12/classes ... ./build/mvn：第 164 行：28389 杀死“${ MVN_BIN}" -DzincPort=${ZINC_PORT} "$@"

标签： maven apache-spark pyspark build

【解决方案1】：

我遇到了同样的问题。经过排查，确认是Linux oom-killer杀死进程，原因是内存不足。

Maven 日志：

[INFO] --- scala-maven-plugin:4.5.6:compile (scala-compile-first) @ spark-hive-thriftserver_2.12 ---
[INFO] Using incremental compilation using Mixed compile order
[INFO] Compiler bridge file: /home/tianshuang/.sbt/1.0/zinc/org.scala-sbt/org.scala-sbt-compiler-bridge_2.12-1.5.8-bin_2.12.15__52.0-1.5.8_20211211T222914.jar
[INFO] compiler plugin: BasicArtifact(com.github.ghik,silencer-plugin_2.12.15,1.7.6,null)
[INFO] compiling 27 Scala sources and 86 Java sources to /home/tianshuang/IdeaProjects/latest/spark/sql/hive-thriftserver/target/scala-2.12/classes ...
./build/mvn: line 185:  8772 Killed                  "${MVN_BIN}" "$@"

命令：

dmesg -T | grep -i kill

输出：

[Wed Apr 13 22:07:44 2022] fsnotifier invoked oom-killer: gfp_mask=0x100cca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0
[Wed Apr 13 22:07:44 2022]  oom_kill_process.cold+0xb/0x10
[Wed Apr 13 22:07:44 2022] [   1862]  1000  1862   114275       95   110592      117             0 gsd-rfkill
[Wed Apr 13 22:07:44 2022] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/user.slice/user-1000.slice/user@1000.service,task=java,pid=8772,uid=1000
[Wed Apr 13 22:07:44 2022] Out of memory: Killed process 8772 (java) total-vm:15551840kB, anon-rss:4862120kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:10256kB oom_score_adj:0

【讨论】：