【问题标题】:Parallelizing subgraph tasks in Python在 Python 中并行化子图任务
【发布时间】:2017-08-13 12:50:43
【问题描述】:

这可能是一个幼稚的问题,但我确实尝试过搜索多个资源:multiprocessingipyparallel,但这些似乎缺乏适合我任务的信息。

我有一个大型有向图G,有 900 万条边和 600 万个节点。我的目标是,对于目标节点列表(50k,以及它们的直接邻居(输入/输出),从G 中提取子图。我目前正在使用networkx 来执行此操作.

我尝试使用ipyparallel,但找不到关于如何跨处理器共享对象(在我的情况下为G)以实现子图功能的教程。有没有一种简单的方法可以跨不同的 cpu 内核并行处理(有 56 个可用,所以我真的很想充分利用它)?

谢谢!

【问题讨论】:

    标签: python parallel-processing multiprocessing networkx ipython-parallel


    【解决方案1】:

    尝试将 G 视为数据库 - 这样它就会被所有子流程共享 - 他们将能够从中获取信息并做他们需要的事情

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-10-07
      • 2012-01-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-09-10
      • 2015-08-23
      • 1970-01-01
      相关资源
      最近更新 更多