如何减少 apache spark 内存占用？

Question

我有一个 apache spark full stack+ Apache zeppelin 运行在一个资源很少 (512MB) 的机器上，它正在崩溃。

Spark Command: /usr/lib/jvm/java/bin/java -cp /home/ec2-user/spark-1.4.1-bin-hadoop2.6/sbin/../conf/:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/spark-assembly-1.4.1-hadoop2.6.0.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-api-jdo-3.2.6.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-core-3.2.10.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip ip-172-31-24-107 --port 7077 --webui-port 8080
========================================
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000daaa0000, 357957632, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 357957632 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /tmp/jvm-17290/hs_error.log

我知道这是个坏主意，但我没有其他地方可以测试它，并且希望能够在 scala + apache spark 中学习一些代码...

有什么方法可以减少 spark 上的内存占用，以便进行测试？

谢谢

Answer 1

Apache zeppelin 是一个很棒的工具，但我也看到过同样的东西，它占用了大量的 RAM。您可以使用命令，例如，在 spark 主文件夹中，bin/spark-shell 将为您提供 spark scala shell，但使用起来并不美观和直观。

您可以使用 Eclipse (scala IDE) 或 IntelliJ (具有 scala 插件) 进行 spark scala 开发，只需要使用 maven 或 sbt 添加 jars。

您可以在 scala shell 中进行原型设计，然后复制并粘贴到 IDE 中。

还可以查看https://github.com/andypetrella/spark-notebook，它占用的 RAM 空间更小。从我所见，Spark 本身占用的空间更少，但 zeppelin 占用了很多空间。

同样适用于 scala notebook：https://github.com/alexarchambault/jupyter-scala，然后您可以将 spark jar 添加到 env，创建 sparkContext 对象并使用它。