【问题标题】:Virtuoso 7 crashes while bulk loadingVirtuoso 7 在批量加载时崩溃
【发布时间】:2014-03-03 21:16:40
【问题描述】:

我正在尝试为 Freebase 创建一个本地 SPARQL 端点以运行一些本地实验。在使用 Virtuoso 7 时,我经常看到服务器被 OOM 杀手杀死。我已按照here 中提到的所有必需步骤进行操作。如RDF Performance Tuning 中所述,我还对我的virtuoso.ini 文件进行了必要的更改。

我的系统配置是:

  • 8 CPU 2.9 Ghz
  • 16 GB 内存

我也有足够的硬盘。

关于数据转储,我已将 freebase 数据转储(23GB gzip 压缩,约 250 GB 未压缩)拆分为 10 个较小的 gzip 压缩文件,每个文件包含 200,000,000 个三元组。

以下是我对virtuoso.ini所做的更改

NumberOfBuffers = 1360000
MaxDirtyBuffers = 1000000

MaxCheckpointRemap = 340000  # (1/4th of NumberOfBuffers)

除此之外,我还设置了vm.swapiness = 10,如2 中所述。

我是否遗漏了一些明显的东西?

附: 我也试过virtuoso-opensource-6.1。但它似乎太慢了。

我发现一个有趣的现象是,在批量加载过程中,virtuoso-6.1 的内存消耗上升得太慢了,但这可能是因为一般索引本身太慢了。

我的另一个观察结果是 virtuoso-6.1 在启动时占用几乎可以忽略不计的内存(大约 500MB),而 virtuoso-7 开始时大约 6500 MB 并且增长迅速。

在这方面的任何帮助将不胜感激。

【问题讨论】:

标签: freebase virtuoso


【解决方案1】:

您使用的缓冲区数量有点过高。不要忘记操作系统和其他进程也会消耗一些内存。

您使用的是哪个版本? (开发还是稳定分支?)

您使用磁盘条带化吗?

我也将 freebase 加载到 Virtuoso 7,但我使用了较小的文件。大约 260 个 gzip 文件,每个 1000 万个三元组 = 大约 100M。每次文件加载后都会执行一次提交。

也许你会更容易使用images with Virtuoso preloaded by Freebase

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-02-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多