使用 pip install pyspark 安装时是否有 spark-defaults.conf答案

【问题标题】：Is there a spark-defaults.conf when installed with pip install pyspark使用 pip install pyspark 安装时是否有 spark-defaults.conf
【发布时间】：2019-11-23 08:10:20
【问题描述】：

我用pip 安装了pyspark。我在jupyter 笔记本中编码。一切正常，但在导出大型.csv 文件时出现java 堆空间错误。 Here 有人建议编辑 spark-defaults.config。同样在火花文档中，它说

"注意：在客户端模式下，此配置不能通过 SparkConf 直接在你的应用程序中，因为驱动程序 JVM 有那时已经开始了。相反，请通过 --driver-memory 命令行选项或在您的默认属性文件中。”

但我担心在安装pyspark 和pip 时没有这样的文件。我说的对吗？我该如何解决？

谢谢！

【问题讨论】：

有什么解决办法吗？

标签： pyspark jupyter-notebook config heap-memory

【解决方案1】：

检查您的spark 路径。下面有配置文件： $SPARK_HOME/conf/，例如 spark-defaults.conf.

【讨论】：

【解决方案2】：

我最近也遇到了这个问题。如果您查看Classpath Entries 下的Spark UI，第一个路径可能是配置目录，类似于/.../lib/python3.7/site-packages/pyspark/conf/。当我寻找那个目录时，它不存在；大概它不是pip 安装的一部分。但是，您可以轻松地创建它并添加您自己的配置文件。例如，

mkdir /.../lib/python3.7/site-packages/pyspark/conf
vi /.../lib/python3.7/site-packages/pyspark/conf/spark-defaults.conf

【讨论】：

【解决方案3】：

当我们必须更改 spark 的任何默认配置时，需要 spark-defaults.config 文件。

正如@niuer 建议的那样，它应该存在于$SPARK_HOME/conf/ 目录中。但你的情况可能并非如此。默认情况下，模板配置文件将出现在那里。您可以在$SPARK_HOME/conf/ 中添加一个新的spark-defaults.config 文件。

【讨论】：