【发布时间】:2019-06-02 15:47:34
【问题描述】:
我想对笔记本电脑硬盘中的 8gb 数据集(如 csv 文件)进行分析。我已经在 AKS 上设置了一个 dask kubernetes 集群,其中有 1 个调度程序和 3 个工作程序,每个 7 GB。
如何在 AKS 上使用这个 dask kubernetes 集群处理我的数据集? 哪个文件系统在工作人员之间共享数据集最适合此目的?
我应该在哪里存储这个数据集以便我可以轻松地处理这个数据集的任何建议。
该方法应该适用于 jupyter notebook 和 python 文件。
【问题讨论】:
标签: kubernetes dataset dask azure-aks dask-kubernetes