【问题标题】:Spark hangs/fails on manually starting master node on windowsSpark 在 Windows 上手动启动主节点时挂起/失败
【发布时间】:2017-05-17 13:29:58
【问题描述】:

我正在尝试在 Windows 7 上手动启动 spark (2.1.0) 上的主节点,但该进程在设置之前挂起。

$ bin\spark-class org.apache.spark.deploy.master.Master
17/05/17 14:23:52 WARN NativeCodeLoader: Unable to load native-hadoop 
library for your platform... using builtin-java classes where applicable

无限期卡在这里(超过 10 分钟)

否则我的 spark 安装工作正常,我使用 pyspark 使用 pyspark --master local[x] 在本地编写和运行脚本。我正在使用 winutils,因为它是在独立模式下运行的。

我还有两台其他机器希望用作工作人员,当我在它们上运行此命令时它们工作正常(设置几乎是即时的)并且所有环境变量在这些工作人员上的设置似乎与我的相同(预期) 主人。

【问题讨论】:

    标签: windows apache-spark windows-7 pyspark


    【解决方案1】:

    对于遇到此问题的其他人,我不知道原因,但在同一位置重新下载 spark 解决了问题。

    【讨论】:

      猜你喜欢
      • 2015-06-20
      • 1970-01-01
      • 1970-01-01
      • 2017-08-02
      • 2015-01-23
      • 2021-04-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多