【发布时间】:2020-06-14 15:35:32
【问题描述】:
我有兴趣在 EMR 上运行 Dask 集群,并从在 单独 EC2 实例上运行的 Jupyter Lab 笔记本内部与其交互(例如,不在集群内且不受管理的 EC2 实例通过 EMR)。
Dask 文档指出 dask-labextension 是此用例的首选工具。 dask-labextension 依赖于 a YAML config file(和/或一些环境变量)来了解如何与集群通信。但是,据我所知,此配置只能设置为指向 local Dask 集群。换句话说,您必须在集群内的一个实例上运行的 Jupyter Lab 笔记本中(大概在主实例上?)才能使用此扩展。
我的阅读正确吗?目前是否无法将dask-labextension 与外部 Dask 集群一起使用?
【问题讨论】:
-
出于好奇,您是如何让实验室使用 EMR 的。当我尝试使用
sudo initctl start jupyter-lab加载时,我不断遇到引导失败。您是否将此与@MRocklin 答案一起使用?
标签: amazon-ec2 jupyter dask amazon-emr