compute() 在 dask 中做什么？

Question

我是 dask 的新手，不明白 compute() 方法在 dask 中究竟做了什么？它是一种打印它调用的对象的方法吗？我已阅读其网站上的文档，但不确定我是否理解“具体价值”和“懒惰的 dask”这两个术语。

您可以通过调用 .compute() 方法或 dask.compute(...) 函数将任何 dask 集合转换为具体值。此函数将阻塞直到计算完成，直接从惰性 dask 集合到本地内存中的具体值。

我的意思是说“它是一种打印调用对象的方法吗？”就是说，当我创建一个 dask 对象并在 spyder 控制台中调用它时，它会导致 dask.array<arange, shape=(11,), dtype=int32, chunksize=(5,)> 并且当我在其上调用 compute() 方法时，它会打印该对象。

x 对象已通过以下代码创建：

x = da.arange(11, chunks=5)

Answer 1

可以在以下位置找到对该主题的简单介绍 https://towardsdatascience.com/why-every-data-scientist-should-use-dask-81b2b850e15b （查找章节使用 Dask 进行并行处理）。

第一步是准备一个计算图：

computation_graph = sum_list([square(i) for i in items])

以上说明只创建了一个“配方”如何执行 计算，但尚未开始实际计算。

下面是下一条指令：

print("Result", computation_graph.compute())

哪个开始计算，并且因为它在一个打印中 指令，我们还演示了计算是如何运行的。

所以使用Dask通常涉及4个步骤：

• 获取（读取）源数据。
• 准备应计算的配方。
• 开始计算（就这样执行compute）。
• “消费”计算结果（完成后）。