没有名为“资源”的模块在 Windows 上安装 Apache Spark答案

【问题标题】：No module named 'resource' installing Apache Spark on Windows没有名为“资源”的模块在 Windows 上安装 Apache Spark
【发布时间】：2019-04-15 19:33:15
【问题描述】：

我正在尝试安装 apache spark 以在我的 Windows 机器上本地运行。我已按照https://medium.com/@loldja/installing-apache-spark-pyspark-the-missing-quick-start-guide-for-windows-ad81702ba62d 此处的所有说明进行操作。

安装完成后，我可以成功启动 pyspark，并执行如下命令

textFile = sc.textFile("README.md")

当我执行一个对 textFile 进行操作的命令时，例如

textFile.first()

Spark 给了我错误“worker 无法重新连接”，我可以在控制台中看到来自 worker.py 的异常说“ModuleNotFoundError: No module named resource”。查看源文件我可以看到这个 python 文件确实尝试导入资源模块，但是这个模块在 Windows 系统上不可用。我知道您可以在 Windows 上安装 spark，那么我该如何解决这个问题？

【问题讨论】：

如下所示，Spark 2.4.0 中引入了一项更改，该更改破坏了 Windows 上的 worker.py。目前，降级到 2.3.2 有效。我已将此作为问题提出here
如果您想要 Spark 2.4.0，请查看我的回答

标签： python windows apache-spark

【解决方案1】：

我整个上午都在为同样的问题苦苦挣扎。最好的选择是降级到 Spark 2.3.2

【讨论】：

非常感谢！我没有特别需要 2.4.0 版，所以这对我有用
乐于助人:)
谢谢，这为我解决了同样的问题。
我希望我也能这么说。在回滚到 2.3.2 后出现同样的错误后，我也将 hadoop 回滚到 2.7.7，但唉，我仍然收到错误。
MT，也尝试在您的 \System32\drivers\etc\hosts 文件中评论 127.0.0.1

【解决方案2】：

可以在https://github.com/apache/spark/pull/23055 找到修复程序。

资源模块仅适用于 Unix/Linux 系统，不适用于 windows 环境。此修复尚未包含在最新版本中，但您可以修改安装中的 worker.py，如拉取请求中所示。可以在https://github.com/apache/spark/pull/23055/files 找到对该文件的更改。

您将不得不重新压缩 pyspark 目录并将其移动到 pyspark 安装目录中的 lib 文件夹（根据您提到的教程提取预编译的 pyspark）

【讨论】：

这解决了我的问题，谢谢！我确实复制了 worker.py 并将其替换到我的 Spark 文件夹中。我将 pyspark 文件夹压缩到 spark 文件夹中并替换了 \user\AppData\Local\Programs\Python\Python37-32\Lib\site-packages\pyspark\python\lib。我不必再降级了。
嗨@ruedi 我没有在那个存储库中找到“worker.py”，我只是找到了提交，它在哪里？提前致谢
你必须点击worker.py提交窗口右上角的“查看文件”（github.com/HyukjinKwon/spark/blob/…）

【解决方案3】：

添加到所有这些有价值的答案，

对于 windows 用户，请确保您已将正确版本的 winutils.exe 文件（适用于您的特定 Hadoop 版本）复制到 spark/bin 文件夹

说，如果你有 Hadoop 2.7.1，那么你应该从 Hadoop 2.7.1/bin 文件夹中复制 winutils.exe 文件

链接在这里

https://github.com/steveloughran/winutils

【讨论】：

【解决方案4】：

我编辑了 worker.py 文件。删除了所有与资源相关的行。实际上# set up memory limits 块和import resource。错误消失了。

【讨论】：