如何在 Dask 中为 GroupBy 添加自定义聚合函数？例如平均值、众数、中位数、第 95 个百分位数等

【问题标题】：How to add custom Aggregation functions for GroupBy in Dask ? for example average, mode, median, 95th percentile etc如何在 Dask 中为 GroupBy 添加自定义聚合函数？例如平均值、众数、中位数、第 95 个百分位数等
【发布时间】：2019-12-30 13:56:39
【问题描述】：

我无法理解以下代码中的 chunk、agg 和 finalize 是什么。

mode = dd.Aggregation('mode', chunk, agg, finalize)

另外，类型和实现方式相同。有人可以在同一在 Dask 上指导/帮助我吗？

【问题讨论】：

标签： dask dask-dataframe

【解决方案1】：

chunk、agg 和 finalize 的参数在 dask.dataframe.Aggregation 的文档字符串中通过示例进行了描述，可在此处在线获取：https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.groupby.Aggregation

如果您有关于该解释的特定问题想要澄清，那么我鼓励您具体提及。

【讨论】：

是的，我明白了。但现在我无法开发/理解用于计算分组数据的第 95 个百分位数、中位数、不同方差、模式聚合的逻辑。
如果你有的话，你能指导我一些相同的代码sn-ps吗？ @MRocklin
我建议对这些算法的并行版本进行网络搜索。你所要求的不是微不足道的。