将 spark 数据帧转换为 dask 数据帧答案

【问题标题】：Convert spark dataframe to dask dataframe将 spark 数据帧转换为 dask 数据帧
【发布时间】：2018-07-18 20:11:19
【问题描述】：

有没有办法直接将 Spark 数据帧转换为 Dask 数据帧？

我目前正在使用 Spark 的 .toPandas() 函数将其转换为 pandas 数据帧，然后转换为 dask 数据帧。我认为这是低效的操作，也没有利用 dask 的分布式处理能力，因为 pandas 永远是瓶颈。

【问题讨论】：

【解决方案1】：

我也许可以为您提供一个有效的答案，涉及从每个 dask 工作人员调用 pyspark，但首先我应该指出，保存到 parquet 并加载结果可能是您可以使用的最快和最简单的方法。

【讨论】：

我有一个疑问。这不是逻辑上的循环吗？使用 Spark 将数据转换为 parquet，然后使用 Dask。如果 Spark 处理的数据已经在 parquet 中了怎么办？有没有办法确保 Spark 和 Dask 像 Pandas 和 Spark 一样协同工作？
如果数据已经在parquet中，直接用dask加载？