如何打印日志和测量执行时间

Question

目前，我正在尝试导入一个包含大约 200 万行的 CSV 文件。每条线对应一个节点。我正在使用 neo4j 浏览器。注意：我也试过neo4j import tool，但它的工作速度也慢了一些。

我尝试使用标准密码查询来运行脚本，例如

USING PERIODIC COMMIT 500 LOAD CSV FROM 'file:///data.csv' AS r 
WITH toInteger(r[0]) AS ID, toInteger(r[1]) AS national_id, toInteger(r[2]) as passport_no, toInteger(r[3]) as status, toInteger(r[4]) as activation_date 
MERGE (p:Customer {ID: ID}) SET p.national_id = national_id, p.passport_no = passport_no, p.status = status, p.activation_date = activation_date

这工作很慢。

后来我试过了。

CALL apoc.periodic.iterate('CALL apoc.load.csv(\'file:/data.csv\') yield list as r return r','WITH toInteger(r[0]) AS ID, toInteger(r[1]) AS national_id, toInteger(r[2]) as passport_no, toInteger(r[3]) as status, toInteger(r[4]) as activation_date MERGE (p:Customer {ID: ID}) SET p.national_id = national_id, p.passport_no = passport_no, p.status = status, p.activation_date = activation_date',
{batchSize:10000, iterateList:true, parallel:true});

因为parallel 选项是true，所以这个似乎工作得更快。 但是我想测量一批的执行时间。

如何在 neo4j 浏览器上打印内容？

我如何测量一批的执行时间？

Answer 1

1. 您的第一个查询使用 500 的批处理大小，而您的第二个查询使用大 20 倍的批处理大小。您需要使用相同的批量大小进行有效比较。

2. 由于您的查询需要大量批次（至少 200 个），因此将总时间除以批次数应该是每批次平均时间的合理近似值。

3. 您是否在:Customer(ID) 上创建了index？这应该有助于加快查询速度。

4. 您应该考虑是否应将ON CREATE 表达式与MERGE 子句一起使用。现在，SET 子句总是被执行，即使节点已经存在。

Answer 2

关键是在添加任何数据之前添加“唯一约束”。这使该过程更快。我从https://neo4j.com/docs/getting-started/current/cypher-intro/load-csv/ 看到 现在是这样的脚本

CREATE CONSTRAINT ON (n:Movie) ASSERT n.no IS UNIQUE;
USING PERIODIC COMMIT 10000
LOAD CSV FROM 'file:///data/MovieData.csv' AS r
WITH r[0] AS no, toInteger(r[1]) AS status, toInteger(r[2]) as activation_date
MERGE (p:Movie {no: no})
ON CREATE SET p.status = status, p.activation_date = activation_date

在 1 分钟内添加 100 万个节点。之前是2-3天以上。