Groovy neo4j 批量导入答案

【问题标题】：Groovy neo4j batch importGroovy neo4j 批量导入
【发布时间】：2014-11-14 17:59:04
【问题描述】：

我正在使用此脚本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/ 将 csv 文件导入 neo4j。该文件非常大：大约 6000 万行。我为属性分配了 30GB 内存，为节点分配了 30GB，其余为 30GB。然而，进口商被困在 4900 万行。这是内存问题吗？

输出如下所示

在 x 秒内处理了 48800000 行在 y 秒内处理了 48900000 行然后它停止处理并且没有移动。

【问题讨论】：

什么是“卡住”？错误、异常、没有任何反应、100% cpu、交换、...？
什么也没发生。我现在会更新问题
那么您的数据库服务器是否在完成所有工作？刷新所有批处理信息还是 GC 搞定它？
我不明白你的问题。我不是数据库人。我正在使用 github 上提供的代码，并根据我在属性和节点索引方面的需求对其进行了调整。还有什么我应该做的吗？

标签： groovy neo4j

【解决方案1】：

你错过了人际关系吗？ 这些是最关键的 我忘记了原始示例中的一个，即

neostore.relgroupstore.db=10MB

每个节点 15 个字节每个关系 38 个字节每 4 个属性 42 个字节

您实际上有 128GB 的 RAM 吗？为了适应内存映射？

您使用的是什么操作系统？

哦，最后它停止了很长时间来创建索引和约束，可能就是这种情况。

您可以在此之前添加一个输出。

【讨论】：

我在 Linux 上。我现在的机器有超过 100GB 的 RAM，是的。阅读您的帖子后，我确实添加了关系。这次索引 4500 万个节点大约需要 20 分钟。