t-sql插入大量数据问题答案

【问题标题】：T-sql insert large amount data problemt-sql插入大量数据问题
【发布时间】：2010-11-08 12:47:58
【问题描述】：

这是我的困境，

8 表

最多 72 列

包括数据类型 int、smallint、decimal 、smalldatetime、char

那里没什么可怕的。

我创建了 100 行、1000 行、10000 行、50000 行、100000 行、500000 行的唯一数据集，但它们在插入语句中。这是用于体积测试。

当尝试运行 50K 查询时，sql server 内存不足。

我有什么选择。！我需要打破小查询吗？我可以提交每 X 行吗？如何确定最大行是否有比插入语句更好的方法>？ Excel 和访问排除了应有的数据量。

有没有一个示例循环 t-sql 语句来创建不同类型的数据？

【问题讨论】：

【解决方案1】：

使用“GO”关键字拆分部分插入语句。它将结束一批并开始另一批。为了方便测试生成，用“GO”分割每一行是正常的。

insert into XXX (1, 2, 3, ...)
...
insert into XXX (2, 3, 4, ...)
GO
insert into XXX (3, 4, 5, ...)
...
insert into XXX (4, 5, 6, ...)
GO

或

insert into XXX (1, 2, 3, ...)
GO
insert into XXX (2, 3, 4, ...)
GO
insert into XXX (3, 4, 5, ...)
GO

【讨论】：

【解决方案2】：

BULK INSERT 正是针对这种场景 - 将大量数据加载到 SQL 服务器中。为什么它比 normaln 插入更高效、更快？因为 B-Tree 是自下而上构建的，而不是普通的自上而下的插入和拆分方法。

【讨论】：

【解决方案3】：

“有没有一个示例循环 t-sql 语句来创建不同类型的数据？”

循环也可用。

declare @i int
set @i = 0
while @i<50000
begin
  set @i = @i+1
  insert into XXX (@i, 1, 2, 3)
end

【讨论】：

【解决方案4】：

由于您使用的是 .NET 框架，您可能应该查看数据适配器上的 updateBatchSize 参数。它会为你处理很多内部问题。更多信息@msdn.microsoft.com/en-us/library/kbbwt18a(VS.80).aspx

【讨论】：

【解决方案5】：

使用 SSIS，在 DataFlowTask 中它可以选择指定批量大小。

【讨论】：