redland rapper/libraptor2 在大型 RDF 文件上内存不足

Question

我正在尝试使用 libraptor2 [版本 2-2.0.10] 解析来自 Freebase Data Dumps 的 Turtle 转储，但我的程序内存不足。所以，我尝试使用“说唱歌手”程序，结果是一样的（内存不足）：

#  raptor2-2.0.10/bin/rapper -i turtle -I - -o turtle -O - freebase-rdf-2013-06-02-00-00.ttl > /dev/null

rapper: Parsing URI file:///...ttl with parser turtle and base URI -
rapper: Serializing with serializer turtle
Killed

我观察内存消耗，它上升到 4GB 然后死了。 如何限制 libraptor/rapper 的内存消耗？

Answer 1

可能不是解析导致您的问题。解析器一次读取输入一个令牌，当它找到一个三元组时，它将它发送给序列化程序。然而，序列化 to turtle 需要大量内存。序列化器首先在内存中构建整个图，并且只有在添加了所有三元组后，图才会被写为海龟。

因此，将输出格式从面向图的 turtle 更改为一些面向三元组的语法，例如 ntriples。

---

在 cmets 之后更新。

由于计数模式仍然存在内存问题，一旦解析就会丢弃三元组，这肯定也是解析器内存问题。

不确定您最终想对这些数据做什么，但这里有一些可能会有所帮助。 请注意，freebase 数据格式是面向行的“带有海龟命名空间的 ntriples”，因此使用简单的文本文件处理工具处理成更易于管理的块相​​对简单：

1. 将文件头中的@prefix声明保留到所有块中。

2. 在三重即换行边界处剪切数据。