【发布时间】:2016-05-17 04:39:16
【问题描述】:
我正在尝试在 Windows 上使用 Intellij 通过 Scala 自学 Spark。我在一台机器上做这个,我想在一台机器上启动多个工作人员来模拟一个集群。我读了this page,上面写着
“启动脚本目前不支持 Windows。要在 Windows 上运行 Spark 集群,请手动启动 master 和 worker。”
我不知道手工启动master和worker是什么意思。有人可以帮忙吗?非常感谢您的任何帮助/建议。
【问题讨论】:
-
您可能需要使用 Standalone,这意味着您必须手动设置 master 和 worker。这意味着,您必须指明位置、他们将使用的内存等。
-
感谢 Alberto,我目前正在成功使用 Standalone,但无法启动多个 worker。在一台机器上启动多个工作器必须执行哪些脚本?
-
@BenjiKok,如果你在单台机器上运行,你的机器既可以作为主服务器,也可以作为单个工作者。
-
感谢 John,我已将 Naresh 的建议标记为答案,因为它允许注册多个工人。
标签: scala apache-spark cluster-computing