【问题标题】:Q: How to find same and similar string values in different tables in SQLQ:如何在SQL中查找不同表中相同和相似的字符串值
【发布时间】:2016-04-17 16:29:55
【问题描述】:

我的数据库中有两个表,每个表都有带有名称的列。如何比较这些表列以及如何找到这些名称具有完全匹配的内容以及这些名称在 table1 和 table2 中相似?

例如:

表1

column1
---------------------
Tom Hawky
Antony Hendric Formen
Cathy Cassy
Bill Gates
Mary Diore

表2

column1
----------------------
Christopher Fridricson
Ken Lovely
Tom Hawky
Anthony Foreman
Chati Cassei

结果应该是这样的:

table1 - table2
Tom Hawky - Tom Hawky
Antony Hendric Formen - Anthony Henrich Foreman
Cathy Cassy - Chati Cassei

【问题讨论】:

  • “相似”是什么意思?在任何人回答您的问题之前,您需要一个非常具体的定义。找到完全匹配很容易,甚至忽略大小写也很容易,但是找到相似的名字是一个全新的蠕虫罐头。

标签: sql sql-server


【解决方案1】:

一种解决方案是执行以下操作:

1) 将名称拆分为一些临时表,以便比较容易进行

2) 构造一个查询,尝试根据某个距离查找匹配项

1) 分词

设置

-- drop table Table1
create table Table1 
(
    Id1 INT NOT NULL CONSTRAINT PK_Table1 PRIMARY KEY IDENTITY (1, 1),
    Column1 NVARCHAR(200) NOT NULL
)
GO

insert into Table1 (Column1)
VALUES ('Tom Hawky'), ('Antony Hendric Formen'), ('Cathy Cassy'), ('Bill Gates'), ('Mary Diore')
GO

-- drop table Table2
create table Table2
(
    Id2 INT NOT NULL CONSTRAINT PK_Table2 PRIMARY KEY IDENTITY (1, 1),
    Column2 NVARCHAR(200) NOT NULL
)
GO

insert into Table2 (Column2)
VALUES ('Christopher Fridricson'), ('Ken Lovely'), ('Tom Hawky'), ('Anthony Foreman'), ('Chati Cassei'), ('Tom X')
GO

select * from Table1
GO

select * from Table2
GO

拆分功能

有几个split functions可以使用,我选择了XML方式:

CREATE FUNCTION dbo.SplitStrings_XML
(
   @List       NVARCHAR(MAX),
   @Delimiter  NVARCHAR(255)
)
RETURNS TABLE
WITH SCHEMABINDING
AS
   RETURN 
   (  
      SELECT Item = y.i.value('(./text())[1]', 'nvarchar(4000)')
      FROM 
      ( 
        SELECT x = CONVERT(XML, '<i>' 
          + REPLACE(@List, @Delimiter, '</i><i>') 
          + '</i>').query('.')
      ) AS a CROSS APPLY x.nodes('i') AS y(i)
   );
GO

分词

drop table #T1Words
Go

create table #T1Words (Id1 INT NOT NULL, Word NVARCHAR(100))
GO

insert into #T1Words 
select T1.Id1, X1.Item
from Table1 T1
    cross apply dbo.SplitStrings_XML (T1.Column1, N' ') X1
GO

drop table #T2Words
GO 

create table #T2Words (Id2 INT NOT NULL, Word NVARCHAR(200))
GO

insert into #T2Words 
select T2.Id2, X2.Item
from Table2 T2
    cross apply dbo.SplitStrings_XML (T2.Column2, N' ') X2
GO

使用一定距离选择

一个可以使用的距离是Levenshtein。要想在SQL中使用,必须在CLR中实现,否则很慢。像这样的:

[Microsoft.SqlServer.Server.SqlFunction(IsDeterministic = true, IsPrecise = false)]
public static int Levenshtein(SqlString S1, SqlString S2)
{
    if (S1.IsNull)
        S1 = new SqlString("");

    if (S2.IsNull)
        S2 = new SqlString("");

    int maxLen = 4096;

    // keeping only the first part of the string (performance reasons)
    String SC1 = S1.Value.ToUpper();
    String SC2 = S2.Value.ToUpper();

    if (SC1.Length > maxLen)
        SC1 = SC1.Remove(maxLen);
    if (SC2.Length > maxLen)
        SC2 = SC2.Remove(maxLen);

    int n = SC1.Length;
    int m = SC2.Length;

    short[,] d = new short[n + 1, m + 1];
    int cost = 0;

    if (n + m == 0)
    {
        return 0;
    }
    else if (n == 0)
    {
        return 0;
    }
    else if (m == 0)
    {
        return 0;
    }

    for (short i = 0; i <= n; i++)
        d[i, 0] = i;

    for (short j = 0; j <= m; j++)
        d[0, j] = j;

    for (int i = 1; i <= n; i++)
    {
        for (int j = 1; j <= m; j++)
        {
            if (SC1[i - 1] == SC2[j - 1])
                cost = 0;
            else
                cost = 1;

            d[i, j] = (short) System.Math.Min(System.Math.Min(d[i - 1, j] + 1, d[i, j - 1] + 1), d[i - 1, j - 1] + cost);
        }
    }

    // double percentage = System.Math.Round((1.0 - ((double)d[n, m] / (double)System.Math.Max(n, m))) * 100.0, 2);
    // return percentage;
    return d[n, m];
}

-- SQL to actually create scalar function that calls CLR code
ALTER FUNCTION dbo.Levenshtein(@S1 nvarchar(max), @S2 nvarchar(max))
    RETURNS INT as EXTERNAL NAME ClrUtils.StoredFunctions.Levenshtein
GO

-- CLR must be enabled for database
sp_configure 'clr enabled', 1
GO
RECONFIGURE
GO

2) 查询

select T1.Id1, T1.Column1, T2.Id2, T2.Column2
from Table1 T1
    cross join Table2 T2 
where EXISTS (
    SELECT 1
    FROM #T1Words T1W
        JOIN #T2Words T2W ON [dbo].[Levenshtein](T2W.Word, T1W.Word) < 3   -- T2W.Word = T1W.Word
    WHERE T1W.Id1 = T1.Id1
        AND T2W.Id2 = T2.Id2
) 

当然,您必须根据可接受的差异设置阈值。

【讨论】:

    【解决方案2】:
    select table1.column1 + '-' + table2.column1
    from table1 join table2 on table1.column1 = table2.column1
    

    【讨论】:

    • 稍微解释一下您的代码将大大改善您的答案。
    【解决方案3】:

    您尚未明确定义确定相似性的参数。但是一个有趣的方法可能是使用DIFFERENCE 函数。这将比较两个字符串的语音表示(使用SOUNDEX 函数)并返回一个从 0 到 4 的值,其中 4 是最强匹配。所以你可以尝试这样的事情:

    SELECT t1.column1 + ' - ' + t2.column1 AS 'table1 - table2'
    FROM table1 t1
    INNER JOIN table2 t2
    ON DIFFERENCE(t1.column1,t2.column1)>= 3
    

    我已将最低比较级别设置为 3,但您可以调整它以最适合您的数据。

    【讨论】:

      猜你喜欢
      • 2011-03-18
      • 1970-01-01
      • 2017-12-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-12-08
      • 1970-01-01
      相关资源
      最近更新 更多