【发布时间】:2017-05-17 13:29:58
【问题描述】:
我正在尝试在 Windows 7 上手动启动 spark (2.1.0) 上的主节点,但该进程在设置之前挂起。
$ bin\spark-class org.apache.spark.deploy.master.Master
17/05/17 14:23:52 WARN NativeCodeLoader: Unable to load native-hadoop
library for your platform... using builtin-java classes where applicable
无限期卡在这里(超过 10 分钟)
否则我的 spark 安装工作正常,我使用 pyspark 使用 pyspark --master local[x] 在本地编写和运行脚本。我正在使用 winutils,因为它是在独立模式下运行的。
我还有两台其他机器希望用作工作人员,当我在它们上运行此命令时它们工作正常(设置几乎是即时的)并且所有环境变量在这些工作人员上的设置似乎与我的相同(预期) 主人。
【问题讨论】:
标签: windows apache-spark windows-7 pyspark