MongoDB导入CSV忽略错误

Question

是否可以使用 mongoimport 将数据从 CSV 导入 mongoDB，但在解析 csv 行期间忽略任何错误？ 我有一个包含大约 2 亿行的 csv 文件，其中一些格式不正确，并且每次修复/尝试迭代都需要大量时间。

Answer 1

使用--parseGrace skipRow 选项。

mongoimport --type csv --parseGrace skipRow --file millionrecords.csv --headerline

--parseGrace grace

默认：停止

3.4 版中的新功能。

指定 mongoimport 在以下情况下如何处理类型强制失败 使用 --columnsHaveTypes 导入 CSV 或 TSV 文件。

--parseGrace 在导入 JSON 文档时无效。

• autoCast ：根据字段的值分配类型。例如，如果一个字段被定义为一个 double 并且该字段的值 字段为“foo”，mongoimport 将使该字段值成为字符串 输入。
• skipField ：对于正在导入的行，mongoimport 不包含类型与预期类型不匹配的字段。
• skipRow：mongoimport 不会导入包含类型与预期类型不匹配的值的行。
• stop ：mongoimport 返回一个错误，结束导入。