执行大量并发 INSERT 时如何避免“违反 UNIQUE KEY 约束”

Question

我正在执行许多并发 SQL INSERT 语句，这些语句在 UNIQUE KEY 约束上发生冲突，即使我还在单个事务中检查给定键的现有记录。我正在寻找一种方法来消除或最小化我遇到的碰撞数量，而不会影响性能（太多）。

背景：

我正在开发一个 ASP.NET MVC4 WebApi 项目，该项目接收大量对 INSERT 记录的 HTTP POST 请求。它每秒收到大约 5K - 10K 个请求。该项目的唯一责任是重复数据删除和汇总记录。写得很重；它的读取请求量相对较少；所有这些都使用IsolationLevel.ReadUncommitted的事务。

数据库架构

这是数据库表：

CREATE TABLE [MySchema].[Records] ( 
    Id BIGINT IDENTITY NOT NULL, 
    RecordType TINYINT NOT NULL, 
    UserID BIGINT NOT NULL, 
    OtherID SMALLINT NULL, 
    TimestampUtc DATETIMEOFFSET NOT NULL, 
    CONSTRAINT [UQ_MySchemaRecords_UserIdRecordTypeOtherId] UNIQUE CLUSTERED ( 
        [UserID], [RecordType], [OtherID] 
    ), 
    CONSTRAINT [PK_MySchemaRecords_Id] PRIMARY KEY NONCLUSTERED ( 
        [Id] ASC 
    ) 
) 

存储库代码

这是导致异常的Upsert 方法的代码：

using System;
using System.Data;
using System.Data.SqlClient;
using System.Linq;
using Dapper;

namespace MyProject.DataAccess
{
    public class MyRepo
    {
        public void Upsert(MyRecord record)
        {
            var dbConnectionString = "MyDbConnectionString";
            using (var connection = new SqlConnection(dbConnectionString))
            {
                connection.Open();
                using (var transaction = connection.BeginTransaction(IsolationLevel.ReadCommitted))
                {
                    try
                    {
                        var existingRecord = FindByByUniqueKey(transaction, record.RecordType, record.UserID, record.OtherID);

                        if (existingRecord == null)
                        {
                            const string sql = @"INSERT INTO [MySchema].[Records] 
                                                 ([UserID], [RecordType], [OtherID], [TimestampUtc]) 
                                                 VALUES (@UserID, @RecordType, @OtherID, @TimestampUtc) 
                                                 SELECT CAST(SCOPE_IDENTITY() AS BIGINT";
                            var results = transaction.Connection.Query<long>(sql, record, transaction);
                            record.Id = results.Single();
                        }
                        else if (existingRecord.TimestampUtc <= record.TimestampUtc)
                        {
                            // UPDATE
                        }

                        transaction.Commit();
                    }
                    catch (Exception e)
                    {
                        transaction.Rollback();
                        throw e;
                    }
                }
            }
        }

        // all read-only methods use explicit transactions with IsolationLevel.ReadUncommitted

        private static MyRecord FindByByUniqueKey(SqlTransaction transaction, RecordType recordType, long userID, short? otherID)
        {
            const string sql = @"SELECT * from [MySchema].[Records] 
                                 WHERE [UserID] = @UserID
                                 AND [RecordType] = @RecordType
                                 AND [OtherID] = @OtherID";
            var paramz = new {
                UserID = userID,
                RecordType = recordType,
                OtherID = otherID
            };
            var results = transaction.Connection.Query<MyRecord>(sql, paramz, transaction);
            return results.SingleOrDefault();
        }
    }

    public class MyRecord
    {
        public long ID { get; set; }
        public RecordType RecordType { get; set; }
        public long UserID { get; set; }
        public short? OtherID { get; set; }
        public DateTimeOffset TimestampUtc { get; set; }
    }

    public enum RecordType : byte
    {
        TypeOne = 1,
        TypeTwo = 2,
        TypeThree = 3
    }
}

问题

当服务器负载足够重时，我看到许多这样的异常发生：

违反 UNIQUE KEY 约束“UQ_MySchemaRecords_UserIdRecordTypeOtherId”。无法在对象“MySchema.Records”中插入重复键。重复键值为 (1234567890, 1, 123)。该语句已终止。

此异常经常发生，每分钟多达 10 次。

我的尝试

• 我尝试将IsolationLevel 更改为Serializable。异常发生的频率要低得多，但仍然会发生。此外，代码的性能也受到很大影响；系统每秒只能处理 2K 个请求。我怀疑吞吐量的下降实际上是异常减少的原因，所以我得出结论，这并没有解决我的问题。
• 我曾考虑使用UPDLOCK Table Hint，但我不完全了解它如何与隔离级别配合或如何将其应用到我的代码中。不过，根据我目前的理解，这似乎是最好的解决方案。
• 我还尝试将初始 SELECT 语句（用于现有记录）添加到 INSERT 语句的一部分，如 here 所示，但此尝试仍然遇到同样的问题。
• 我尝试使用 SQL MERGE 语句来实现我的 Upsert 方法，但这也遇到了同样的问题。

我的问题

• 我能做些什么来防止这种类型的UNIQUE 键约束冲突吗？
• 如果我应该使用UPDLOCK 表提示（或任何其他表提示），我将如何将它添加到我的代码中？我会将它添加到INSERT 吗？ SELECT?两者都有？

Answer 1

使验证读取锁定：

FROM SomeTable WITH (UPDLOCK, ROWLOCK, HOLDLOCK)

这会序列化对单个键的访问，从而允许所有其他键的并发。

---

HOLDLOCK ( = SERIALIZABLE) 保护一系列值。这可确保不存在的行继续不存在，因此 INSERT 成功。

UPDLOCK 确保任何现有行不会被另一个并发事务更改或删除，因此UPDATE 成功。

ROWLOCK 鼓励引擎采用行级锁。

这些更改可能会增加死锁的可能性。

Answer 2

在你的场景中允许和抑制错误可能比试图消除它们更快。如果您使用重叠数据同步合并多个源，则需要在某处创建瓶颈来管理竞争条件。

您可以创建一个单例管理器类，该类在哈希集中保存记录的唯一约束，以便在将重复项添加到集合时自动删除它们。记录在提交到数据库之前添加，并在语句完成后删除。这样，要么哈希集吃掉重复项，要么您在尝试顶部执行的现有记录检查检测到已提交的重复记录。

Answer 3

AFAIK，唯一的解决方案是在insert 之前检查重复。它要求至少往返一次 DB 会导致性能不佳。

您可以在表上执行SELECT 并保持锁定以防止其他并行线程到SELECT 并获得相同的值。以下是详细解决方案：Pessimistic locking in EF code first

附言： 根据 Aron 的评论和很好的解决方法，我应该说我提出的解决方案是基于您不想使用缓冲区或队列的假设。