Binary_Checksum 与 HashBytes 函数

Question

我有一个复杂的查询，它使用了很多二进制校验和函数，当我用一些测试数据对两个不同的记录进行测试时，它实际上返回了相同的校验和值。请在下面找到我使用的测试数据

SELECT BINARY_CHECKSUM(16   ,'EP30461105',1) AS BinaryCheckSumEx UNION ALL
SELECT BINARY_CHECKSUM(21   ,'EP30461155',1) AS BinaryCheckSumEx

现在我正在尝试将 HASHBYTES 函数与“MD5”算法一起使用，我可以确定获得唯一记录，但现在我担心的是，在当前查询中，我使用“校验和”值加入我的 '合并'语句以查找新记录。由于“HashBytes”返回给我 Varbinary 数据类型，当我用“HashByte”字段替换连接条件时，我可以预期多少性能开销。

SELECT HASHBYTES('MD5', CONCAT(Col1,Col2,Col3,Col4,..))

此外，我需要为多个列创建散列，在这种情况下，我需要一个额外的 Concat 函数，这会对我的性能产生额外的开销。

Answer 1

以下是选项：

1. 使用哈希索引作为 VARBINARY

   • 这不是一个好主意。检查这些链接：
   • https://social.msdn.microsoft.com/Forums/sqlserver/en-US/35b61bb0-1fa8-4a2f-a9fb-729a1874dcf8/clustered-index-on-a-varbinary-column?forum=sqldatabaseengine
   • SQL Server indexing - varchar(100) vs varbinary(100)? [convert data]

2. 使用 BINARY_CHECKSUM 和 CHECKSUM

   • 这很好，但问题是校验和重复的可能性很高，而且当您使用 Google 搜索时，您会发现很多人都对此有疑问。

但是，校验和不会改变的可能性很小。 因此，我们不建议使用 CHECKSUM 来检测是否 除非您的应用程序偶尔可以容忍，否则值已更改 错过了一个变化。考虑改用 HashBytes。当一个 MD5 哈希 算法被指定，HashBytes 返回的概率 两个不同输入的相同结果远低于 校验和。

来源：https://msdn.microsoft.com/en-us/library/ms189788(v=SQL.100).aspx

1. 将 HASBYTES 转换为 BIGINT 并在其上有索引
   • 这不是个好主意

我也会小心将散列值转换为 BIGINT 鉴于 BIGINT 只有 8 个字节，但所有散列算法 - 甚至 MD5 -- 大于 8 字节（MD5 = 16 字节，SHA1 = 20，SHA2_256 = 32 和 SHA2_512 = 64）。并转换大于 8 字节的二进制值 到 BIGINT 会悄悄地截断这些值。因此，您会失去准确性和 增加误报的发生率。以下查询显示 这种行为：

SELECT CONVERT(BIGINT, 0xFFFFFFFFFFFFFF),      --  7 bytes = 72057594037927935
       CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFF),    --  8 bytes = -1
       CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFFFF),  --  9 bytes = -1
       CONVERT(BIGINT, 0xFFFFFFFFFFFFFFFFFFFF) -- 10 bytes = -1

来源：https://dba.stackexchange.com/questions/154945/index-maintenance-for-varbinary

4. 将 HASHBYTES 转换为 VARCHAR 并在其上有索引
   • 这是不错的选择
   • 您有两种选择：​​i>

a) 如果您使用的是 SQL 2008 或更高版本

SELECT CONVERT(NVARCHAR(32),HashBytes('MD5', CONTENT),2)

b) 如果您使用的是 SQL 2005

SELECT SUBSTRING(master.dbo.fn_varbintohexstr(HashBytes('MD5', CONTENT)), 3, 32)

PS：如果您想知道应该使用哪种哈希算法：

MD5 = 16 bytes
SHA1 = 20 bytes
SHA2_256 = 32 bytes
SHA2_512 = 64 bytes

来源：https://blogs.msdn.microsoft.com/sqlsecurity/2011/08/26/data-hashing-in-sql-server/

对于您的第二个问题，您应该使 Hash 列 PERSISTED，以避免对运行每个查询的影响。