使用 dask.dataframe 从 CSV 文件中按分区读取尾部答案

【问题标题】：Read tail by partition from CSV file with dask.dataframe使用 dask.dataframe 从 CSV 文件中按分区读取尾部
【发布时间】：2018-08-22 18:30:29
【问题描述】：

使用 Dash，我们可以轻松读取 CSV 文件并使用 head 获取第一行，即使在多个分区中也是如此。

import dask.dataframe as dd
df = dd.read_csv('data.csv').head(n=100, npartitions=2)

但我想在多个分区上读取 CSV 文件的最后几行，如下所示：

import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100, npartitions=2)

Dask data.frame 似乎不支持tail 方法上的分区。

在pandas 中，我可以使用skiprows 管理它，但在Dask 中似乎没有此选项。

【问题讨论】：

【解决方案1】：

您似乎已经回答了自己的问题。 tail 方法存在

import dask.dataframe as dd
df = dd.read_csv('data.csv').tail(n=100)

【讨论】：

对不起，我编辑了我的帖子，dask 的 tail 实现的问题在于，根据文档“警告，仅检查最后一个分区的最后 n 行。”。所以我只能使用最后一个分区，我想使用多个分区。
不，目前不支持。您必须提出问题，或者更好的是，通过拉取请求提供修复。
好的，谢谢您的回答！不确定能否提供拉取请求，但我会看看。