【发布时间】:2017-08-13 12:50:43
【问题描述】:
这可能是一个幼稚的问题,但我确实尝试过搜索多个资源:multiprocessing 和 ipyparallel,但这些似乎缺乏适合我任务的信息。
我有一个大型有向图G,有 900 万条边和 600 万个节点。我的目标是,对于目标节点列表(50k,以及它们的直接邻居(输入/输出),从G 中提取子图。我目前正在使用networkx 来执行此操作.
我尝试使用ipyparallel,但找不到关于如何跨处理器共享对象(在我的情况下为G)以实现子图功能的教程。有没有一种简单的方法可以跨不同的 cpu 内核并行处理(有 56 个可用,所以我真的很想充分利用它)?
谢谢!
【问题讨论】:
标签: python parallel-processing multiprocessing networkx ipython-parallel