Dask SVD 计算和中间值的重用

Question

我在 Dask 数组中有一个巨大的数 GB 矩阵。如果我执行以下操作：

usv = dask.array.linalg.svd(A)

紧随其后

u.compute()
s.compute()
v.compute()

我能否确保 Dask 将重用进程的中间值，或者是否会为 u、s 和 v 重新运行整个过程？

Answer 1

您编写它的方式不会重用任何中间值（除非您使用distributed scheduler）。

无论哪种方式，您都需要重写具有

from dask import compute

u, s, v = compute(u, s, v)

在这种情况下，所有中间值都将被共享。

请参阅http://dask.pydata.org/en/latest/scheduler-overview.html#the-compute-function 了解更多信息。