【发布时间】:2019-01-31 18:38:41
【问题描述】:
目前在将缓存集成到 dask 延迟图中的最新技术是什么?我有大型图表,这些图表的路径将显着受益于持久缓存(即磁盘,并由参数散列),用于图表的每次单独运行(即跨处理)。
我的期望是有一个我可以在图形优化阶段集成的 api,在适当的时候用从磁盘加载的常量替换节点。看起来 cachey 应该是我的切入点,但我无法让它与纯 dask 延迟示例一起工作。
【问题讨论】:
标签: dask dask-delayed
目前在将缓存集成到 dask 延迟图中的最新技术是什么?我有大型图表,这些图表的路径将显着受益于持久缓存(即磁盘,并由参数散列),用于图表的每次单独运行(即跨处理)。
我的期望是有一个我可以在图形优化阶段集成的 api,在适当的时候用从磁盘加载的常量替换节点。看起来 cachey 应该是我的切入点,但我无法让它与纯 dask 延迟示例一起工作。
【问题讨论】:
标签: dask dask-delayed
是的,cachey 可能会处理这个问题。您可能指的文档页在这里:http://docs.dask.org/en/latest/caching.html
如果有特定的错误,我鼓励您打开错误报告。
【讨论】: