将LARGE csv文件转换为sql然后拆分它？答案

【问题标题】：Converting LARGE csv file to sql and then split it?将LARGE csv文件转换为sql然后拆分它？
【发布时间】：2014-08-31 07:07:28
【问题描述】：

我有一个大的（4 列，大约 900,000 行）csv 文件，我需要将其转换为 sql，然后显然将其拆分为更易于管理的大小，以便我可以导入它。

有人知道有什么程序可以做到这一点吗？显然我可以手动完成，但是有 900,000 行代码需要一段时间，我宁愿自动化。

为清楚起见进行编辑：我在我的 Windows PC 上拥有 .csv 格式的所有数据。我想拆分然后在本地转换，然后通过 phpmyadmin 上传到其他地方托管的在线服务器。谢谢

干杯

【问题讨论】：

【解决方案1】：

我认为你是在倒退，因为 csv 是一种微不足道的格式，你肯定应该将它拆分为那种格式，然后再担心 SQL，而不是反过来。

要将其拆分为多个 csv 文件，只要您可以访问流式 API（以避免一次读取所有 900 000 行），几乎可以轻松使用任何语言，您是否精通任何语言？

（C# / C++ / PowerShell / 其他？）

您在什么操作系统下运行？您的目标是什么 SQL DBMS？例如，如果您使用带有 SQL 服务器的 Windows 和带有 MySQL 的 ubuntu，则解决方案可能会有很大差异（取决于您的 DBMS，可能会内置解决方案来执行此操作）。

【讨论】：

【解决方案2】：

这就是我最终做的：

我下载了一个 .csv 拆分器并将我的文件拆分为 9 个文件，每个文件 100,000 行。这可能仍然有点大，但它确实有效。

拆分后，我将它们全部转换为 .sql 并将它们导入数据库。

显然，由于文件太大，转换和导入需要很长时间，但它确实有效。

我尝试直接从 .csv 导入，但服务器不接受。不完全确定为什么，但是嘿 - 我现在将数据放入我的数据库中，这就是我真正想要的。

【讨论】：