火花内存问题答案

【问题标题】：Spark Memory issue火花内存问题
【发布时间】：2015-02-04 17:39:37
【问题描述】：

您好，我是 Spark 的新手。我正在尝试在 Apache Spark scala 命令行上执行以下命令

 scala> val files=sc.textFile("/home/test/u.item")
               14/12/06 09:57:40 INFO MemoryStore: ensureFreeSpace(165239) 调用
               curMem=0, maxMem=278302556
               2006 年 14 月 12 日 09:57:40 INFO MemoryStore：块广播_0 存储为值
               内存（估计大小 161.4 KB，可用 265.3 MB）
               文件：org.apache.spark.rdd.RDD[String] = /home/test/u.item MappedRDD[1] at
               文本文件在 :12

请知道纠正上述错误的步骤

【问题讨论】：

您可以尝试使用其他文件（例如 README.md 或任何其他较小的文本文件。
我尝试了一个非常小的文件，但仍然无法正常工作。
这可能是一个愚蠢的问题，但你确定有任何错误吗？我没有看到任何明显的错误信息
哦，作为一个新手的乐趣。它工作得很好。我不知道记忆信息是关于什么的！

标签： scala

【解决方案1】：

这不是错误消息。 log4j 将其记录为一条 INFO 消息（见下方的 INFO 字符串，在 2 星之间）。如果它是一个错误，它将具有 ERROR 级别（警告为 WARN）。当您调用上下文的 textFile 方法时，您的输出是预期的。如果您只想记录警告和错误，建议您将 log4j.properties 中的级别更改为 WARN。

14/12/06 09:57:40 **INFO** MemoryStore: ensureFreeSpace(165239) called with 
           curMem=0, maxMem=278302556
14/12/06 09:57:40 **INFO** MemoryStore: Block broadcast_0 stored as values in 
           memory (estimated size 161.4 KB, free 265.3 MB)

我不是 Spark 专家，但我猜 ensureFreeSpace 是 MemoryStore 调用的一个函数，用于检索 Spark 上下文活动的内存。

【讨论】：

【解决方案2】：

正如 MiguelPeralvo 所说，log4j.properties 中的级别可以更改为WARN。为此，请转到 spark 目录中的 conf 文件夹。如果log4j.properties 不存在，请从该目录中的模板创建它。

cp log4j.properties.template log4j.properties

然后在编辑器中打开log4j.properties并将第一行更改为

log4j.rootCategory=WARN, console

重新启动 spark 并且 INFO 消息应该消失了。

【讨论】：