如何为特定域提取 Freebase 数据转储？

Question

我不想下载 250G 的 freebase 数据转储。我不需要这么大的数据。我想提取数据的一小部分（一个小域）。这个小子集将使我的迭代更快、更容易。

谁能解决我的问题？

Answer 1

夏季最新（也是最后一次）Freebase 转储低于 30GB，而不是 250GB。大多数计算机处理压缩数据比处理未压缩数据更快，因此您应该在处理之前将其保持压缩状态。

zgrep 是过滤特定模式的文本文件的好方法。如果你想变得花哨，你可以使用一个小程序来解压数据并搜索符合你条件的主题实体。

转储文件按主题顺序排序，因此给定主题的所有谓词都是相邻的，从而简化了处理过程（您只需要缓冲少量数据，同时决定是否在过滤的子集中包含特定主题)。