将大表从 MySql 迁移到 MsSql答案

【问题标题】：Migrate big tables from MySql to MsSql将大表从 MySql 迁移到 MsSql
【发布时间】：2014-09-03 18:54:26
【问题描述】：

我有一个大约 46GB 的 Mysql 格式的大数据库，我设法将所有数据库转换为 MSsql，除了两个表，最大的表。当我尝试逐个迁移这两个表时，一段时间后我收到错误消息“连接已被禁用”

我将 SSMA 选项的超时时间从 15 增加到 1440，并将 bash 从 1000 减少到 500，同样，这些表有 52 百万行和 1.1 亿行，分别为 1.5 GB 和 6.5 GB。

我尝试了增量版本，但我没有唯一的 ID 可供使用

我可以做些什么来迁移它们

谢谢

【问题讨论】：

您是否尝试将数据导出到文件中，然后在新数据库中重新导入？
因为大表行没试过，我认为csv有可以有多少行的限制
@GordonLinoff - 在这个阶段添加一个标识列会有帮助吗？
CSV 文件中的行数没有限制。某些 CSV 工具中的行数存在限制（或资源限制）。应该很容易输出你所有的数据。如果由于某种原因您不能在 MySql 中使用本机 CSV 导出，则通过一个小型客户端应用程序在 2 个大表中。 ariejan.net/2008/11/27/export-csv-directly-from-mysql 显示从 MySql 直接导出到 CSV。 BCP Sql server 中的文件应该没有问题
如果中间 CSV 文件的大小有问题，您不能只通过管道传输转储吗？

【解决方案1】：

您应该能够使用 SQL Server Integration Services (SSIS)。您可以创建一个从 MYSql 中提取数据并将数据转储到 MSSQL 的数据流。

您需要创建一个包含 OLE 数据库源的数据流任务并将其连接到 OLE 数据库目标。

【讨论】：

我已经尝试过这个软件，但没有运气，你能解释一下怎么做吗？
在 Visual Studio 中创建一个新的“集成服务项目”。
在 Visual Studio 中创建一个新的“集成服务项目”。在 Control Flow 选项卡中，从左侧的 Toolbox（或 View>Toolbox）添加“Data Flow Task”。双击数据流任务。现在拖动 ADO.NET Source 并双击它，为 Provider 的 MySql 服务器（使用 MySQL 数据提供程序）创建一个新连接。（可以在此处找到 MySQL 数据提供程序：blogs.msdn.com/b/mattm/archive/2008/03/04/…）一旦建立连接，将 ADO.NET 源指向您的 Source DB，并对 SQL 服务器执行相同操作（使用 OLE DB 而不是 ADO.NET。
其实好像 MySQL 提供了一个 ADO.net 驱动：dev.mysql.com/downloads/connector/net

【解决方案2】：

我在使用 SSMA 时遇到了同样的问题。我设法迁移了一个包含 40 多列的表的 100+ 百万行。

我假设您已经很好地完成了配置。您需要确保 MSSQL 数据库中没有活动。没有对这些表进行 SELECTS，也没有任何其他活动。

检查这两个表的结构以确保它们正常。您只能为这两个表运行 SSMA 项目。

希望这会有所帮助。

【讨论】：

【解决方案3】：

另外，我在这里记录了整个 MySQL 到 MSSQL 的迁移过程：Migrate Data and Schema from MySQL to SQL Server

【讨论】：