使用“While Exists”循环进行慢速插入

Question

我正在尝试向表中插入大量记录。 这是场景：

1. SQL Server 2008（数据库为 2005）

2. 目标表具有聚集索引 (PK)。该字段应该是一个身份，但是数据库的开发人员（我们无法更改它，因为它会影响程序）将其创建为一个整数。每次程序需要向表中添加一行时，查看最大 id（在这种情况下为historyno）并求和。

3. 当我们需要同时插入大量记录时，这会影响我们的性能，因此我们创建了一个流程来在生产时间之外从临时表 (AKT_ES_CampTool_TempHist) 中插入行。

4. 问题是，在一小时内，它只插入了 8K 行。考虑到我们需要插入超过 120K，我们用完了几个小时。

我们使用的代码如下。请，如果有人有任何改进它的想法，将不胜感激。

DECLARE             @HistNo         AS INT

WHILE EXISTS (SELECT * FROM AKT_ES_CampTool_TempHist WHERE Inserted = 0)
BEGIN

    SELECT  @HistNo=MIN(HistoryNo) FROM AKT_ES_CampTool_TempHist WHERE Inserted = 0

    INSERT INTO NOVADB.dbo.niHist   (
        HistoryNo,ObjectType,ObjectNo,SubNo,ReferenceNo, 
        Time,Type,Priority,Collector,Code,
        Action,RemainingAmount,Obliterated,SubType,ActSegment,
        Data,FreetextData,quantity
                                        )
        SELECT      
        (SELECT  max(historyNo)+1 
        FROM    NOVADB..niHist),ObjectType,ObjectNo,SubNo,ReferenceNo,
        Time,Type,Priority,Collector,Code,
        Action,RemainingAmount,Obliterated,SubType,ActSegment,
        Data,FreetextData,quantity 
        FROM        AKT_ES_CampTool_TempHist 
        WHERE       HistoryNo=@HistNo

        UPDATE  AKT_ES_CampTool_TempHist
        SET     Inserted=1
        WHERE   HistoryNo=@HistNo

END

Answer 1

显然，正确的答案是将 historyNo 列更改为一个标识，但由于您不能这样做，为什么不在整个集合中使用 ROW_NUMBER 来获得一个递增的数字以添加到 prev max historyNo 中？

然后您可以将插入更改为

DECLARE  @OldMaxHistNo  AS INT
SELECT @OldMaxHistNo = MAX(historyNo) FROM NOVADB..niHist

INSERT INTO NOVADB.dbo.niHist   (
    HistoryNo,ObjectType,ObjectNo,SubNo,ReferenceNo, 
    Time,Type,Priority,Collector,Code,
    Action,RemainingAmount,Obliterated,SubType,ActSegment,
    Data,FreetextData,quantity
                                    )
    SELECT      
    @OldMaxHistNo+ ROW_NUMBER() OVER(ORDER BY ObjectNo)
    FROM    NOVADB..niHist),ObjectType,ObjectNo,SubNo,ReferenceNo,
    Time,Type,Priority,Collector,Code,
    Action,RemainingAmount,Obliterated,SubType,ActSegment,
    Data,FreetextData,quantity 
    FROM        AKT_ES_CampTool_TempHist 
    WHERE       Inserted = 0

    UPDATE  AKT_ES_CampTool_TempHist
    SET     Inserted=1

在执行此操作时可能必须锁定事务中的表

Answer 2

您可以使用由 Rownumber() 生成的新 HistoryNo 并使用 max(historyNo) FROM NOVADB..niHist 更改来选择应插入临时表的数据。

SELECT  ROW_NUMBER() OVER (Order by ID) as NEW_HistoryNo , * 
into #tmp
FROM AKT_ES_CampTool_TempHist 
WHERE Inserted = 0
ORDER BY HistoryNo

Update #tmp set NEW_HistoryNo=NEW_HistoryNo + (SELECT  max(historyNo) FROM    NOVADB..niHist)

INSERT INTO NOVADB.dbo.niHist   (
        HistoryNo,ObjectType,ObjectNo,SubNo,ReferenceNo, 
        Time,Type,Priority,Collector,Code,
        Action,RemainingAmount,Obliterated,SubType,ActSegment,
        Data,FreetextData,quantity )                                 )
SELECT      
        NEW_HistoryNo,ObjectType,ObjectNo,SubNo,ReferenceNo,
        Time,Type,Priority,Collector,Code,
        Action,RemainingAmount,Obliterated,SubType,ActSegment,
        Data,FreetextData,quantity
from #tmp

Update AKT_ES_CampTool_TempHist  set Inserted = 1
from #tmp
Where #tmp.HistoryNo=AKT_ES_CampTool_TempHist.HistoryNo and AKT_ES_CampTool_TempHist.Inserted = 0

Drop Table #tmp

Answer 3

您永远不应该使用您用于分配索引的 max+1 策略。假设您不能使用身份和主表，并且您没有使用最新版本的 sql server -- 基于身份字段创建影子表并使用它来生成序列号

即

create table AKT_ES_CampTool_Shadow
(
  id int identity(1234,1) not null -- replacing 1234 with a value based on max+1
, dummy varchar(1) null
)

然后生成一个 id -- 比 max+1 便宜 -- 没有锁定问题

create proc AKT_ES_CampTool_idgen(@newid output)
(
  declare @newid int
  begin tran

  insert into dbo.AKT_ES_CampTool_Shadow (dummy) values ('') 
  select @newid = scope_id()
  rollback  
)

你没有说 AKT_ES_CampTool_TempHist 有多大。如果它很大，您可能会在那里遇到性能问题（特别是如果“插入”字段上没有索引）

您可以首先创建一个包含相关列的表 var。

declare @TempHist table
(
  HistNo int
, inserted int
, etc.

primary key(...)
)

然后使用单个插入查询填充@TempHist。如果您没有适合此表的 PK，请使用生成的 RowID s PK

现在，您可以循环遍历此表而不会导致锁争用。只需从 @TempHist 中选择前 1 行，并在完成处理后从 @TempHist 中删除相应的行。

您不会使用游标，也不会进行大批量操作