图数据从边输入格式到顶点输入格式的转换

Question

我正在试验 Giraph。要在 Giraph 中运行算法，我需要图形数据采用顶点输入格式。几乎所有可用的在线大数据都是边缘列表格式。我用 Java 编写了一个代码来将此 Edge List 格式转换为 VertexInputFormat。这适用于具有近 800k 边的较小图。但是，对于我需要的图表，每次运行程序时都会出现 Heap space exceeded 错误。我尝试将堆大小增加到最大值。错误仍然存​​在。

我正在运行的文件大小约为 15GB。

我不太了解算法（PageRank、SingleSourceShortestPath 等）是如何用 Giraph 编写的，但我知道它们都将 VertexInputFormat 中的图形作为输入。

我正在寻找的帮助是：

1. 将 EdgeInputFormat 转换为 VertexInputFormat（或）的优化代码
2. 任何可以帮助进行此转换（或）的在线工具
3. 以 EdgeInputFormat 作为输入的 PageRank 算法。

Answer 1

抱歉，我没明白你为什么只想使用 VertexInputFormat，Giraph 也提供 EdgeInputFormat API，你为什么不能使用它？