【问题标题】:Multiple Spark Workers on Single Windows Machine单个 Windows 机器上的多个 Spark Worker
【发布时间】:2016-05-17 04:39:16
【问题描述】:

我正在尝试在 Windows 上使用 Intellij 通过 Scala 自学 Spark。我在一台机器上做这个,我想在一台机器上启动多个工作人员来模拟一个集群。我读了this page,上面写着

“启动脚本目前不支持 Windows。要在 Windows 上运行 Spark 集群,请手动启动 master 和 worker。”

我不知道手工启动master和worker是什么意思。有人可以帮忙吗?非常感谢您的任何帮助/建议。

【问题讨论】:

  • 您可能需要使用 Standalone,这意味着您必须手动设置 master 和 worker。这意味着,您必须指明位置、他们将使用的内存等。
  • 感谢 Alberto,我目前正在成功使用 Standalone,但无法启动多个 worker。在一台机器上启动多个工作器必须执行哪些脚本?
  • @BenjiKok,如果你在单台机器上运行,你的机器既可以作为主服务器,也可以作为单个工作者。
  • 感谢 John,我已将 Naresh 的建议标记为答案,因为它允许注册多个工人。

标签: scala apache-spark cluster-computing


【解决方案1】:

要手动启动 Spark Master,请从 %SPARK_HOME%\bin 运行以下命令

spark-class org.apache.spark.deploy.master.Master

上述命令还将打印主 URL,例如 spark://ip:port
Master UI 可以在 localhost:8080 访问

要启动 Spark Worker,请运行

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

现在,如果您刷新 Master UI,您可以在“工人”部分下看到新工人。
重复该命令,将多个 worker 添加到同一个 master。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-04-18
    • 1970-01-01
    • 2018-02-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-07-31
    • 2018-08-05
    相关资源
    最近更新 更多