将 CSV 关系导入 Neo4j

Question

我正在尝试将数据从 MySQL 数据库导入 Neo4j，使用 CSV 文件作为中介。我正在关注basic example，但无法让它正常工作。我正在使用这些查询导入两个表：

//Import projects.
USING PERIODIC COMMIT
LOAD CSV WITH HEADERS FROM "file:/tmp/projects.csv" AS row
CREATE (:project
{
     project_id: row.fan,
     project_name: row.project_name
});

//Import people.
USING PERIODIC COMMIT
LOAD CSV WITH HEADERS FROM "file:/tmp/persons.csv" AS row
CREATE (:person
{
     person_id: row.person_id,
     person_name: row.person_name,
});

//Create indicies.
CREATE INDEX ON :project(project_id);
CREATE INDEX ON :project(project_name);
CREATE INDEX ON :person(person_id);
CREATE INDEX ON :person(person_name);

这部分有效。当我尝试导入关系时不起作用：

//Create project-person relationships.
USING PERIODIC COMMIT
LOAD CSV WITH HEADERS FROM "file:/tmp/project_persons.csv" AS row
MATCH (project:project {project_id: row.project_id})
MATCH (person:person {person_id: row.person_id})
MERGE (person)-[:CONTRIBUTED]->(project);

控制台接受查询没有错误，但永远不会完成。它已经以 100% 的 CPU、25% 的 RAM 运行了好几天，但磁盘使用率可以忽略不计。数据库信息中没有出现关系。

我是不是在某个地方出错了，还是真的这么慢？ project_persons.csv 文件有 1300 万行长，但现在不应该定期提交显示吗？

Answer 1

shouldn't the periodic commit make something show up by now?

仅适用于 LOAD - 在 CREATE 的前面做一个“解释”，它会告诉你它是如何构建更新的以及它期望处理的记录数。我遇到了同样的问题——Neo4j 将整个更新作为一个事务进行，并且从未完成。交易需要分解为 50K - 100K tx 块才能完成所有工作。

执行此操作的一种方法是将关系信息作为一组标记节点导入，然后使用这些节点 MATCH() 人员和项目节点并根据需要创建关系。

USING PERIODIC COMMIT
LOAD CSV WITH HEADERS FROM "file:/tmp/project_persons.csv" AS row
CREATE (:Relations {project_id: row.project_id, person_id: row.person_id})

然后处理50K批次的记录：

MATCH (r:Relations) 
MATCH (prj:project {project_id: r.project_id})
MATCH (per:person {person_id: r.person_id})
WITH r, prj, per LIMIT 50000
MERGE (per)-[:CONTRIBUTED]->(prj)
DELETE r

多次运行，直到所有关系都创建完毕，然后就可以开始了。