【发布时间】：2018-08-16 04:22:51
【问题描述】：
你能告诉我jupyter集群有什么用吗？我创建了jupyter集群，并建立了它的连接。但是我仍然很困惑，如何有效地使用这个集群？
谢谢
【问题讨论】：
标签： python python-3.x jupyter-notebook cluster-computing jupyter
【发布时间】：2018-08-16 04:22:51
【问题描述】：
使用 Jupyter Notebook 集群，您可以在本地机器上运行 notebook，并通过设置适当的端口号连接到集群上的 notebook。示例代码：
- 使用
ssh username@ip_address访问服务器。 - 设置运行笔记本的端口号。在远程终端上运行
jupyter notebook --no-browser --port=7800 - 在服务器的本地终端
run ssh -N -f -L localhost:8001:localhost:7800 username@ip_address上。 - 在本地机器上打开网络浏览器并转到
http://localhost:8001/
【讨论】：
-
当您在没有集群的情况下使用 jupyter notebook 时，您的代码将在本地 cpu/gpu 上执行。但是当您使用笔记本集群代码时，将在服务器 cpu/gpu 上执行。
-
这是否会像使用内存一样利用所有集群系统资源，并像hadoop一样用于高效处理？会这样做吗？
-
我也很感兴趣，如果 jupyter 可以运行分布式作业。在后一种情况下，即使连接到集群，它仍会在单个节点上运行作业。对吗？