在 MySQL 中对相似的字段数据进行分组

Question

在 MySQL 中，我有一个表，它接受来自多个输入通道的公共数据，并且包含约 100,000 行。

其中一个字段存储员工职能经理的姓名。在组织中，大约有 100 名这样的职能经理。

我遇到的问题是，由于有多个输入渠道，不同的报告系统为这些经理使用了不同的名称格式。

例如，John Smith 可以存储为；

John Smith
Smith, John
Smith John

现在这有点像噩梦，因为我们希望将此职能经理字段用作报告机制，这意味着我们需要按各个职能经理进行排序或分组。

每个季度后数据都会成为遗留数据，因此我们很乐意清理和格式化职能经理字段。

问题是，有没有一种简单的方法来对这些经理进行分组，即使他们的名字采用不同的格式，我正在寻找一种不涉及我逐个通过每个职能经理的方式，并声明如下这个：

UPDATE tablename SET fm_name = "John Smith" where fm_name like "%John%" and fm_name like "Smith"; 

例如；以编程方式，我可以获取第一条记录，将名称分解为其名字和姓氏字符串，然后匹配相似的记录并更新它们。然后移动到下一条记录。在 MySQL 中是否可以做到这一点，或者我最好在上面的层中做到这一点。

任何建议将不胜感激。

Answer 1

如果你能想出一个归一化函数name_normalize(string)，在给定精确输入或Bush, George H. W.的情况下产生George H. W. Bush，那么你可以这样做

  GROUP BY name_normalize(name)

并获得您想要的东西，而无需处理表中的数据。

就是这样一个功能。它使用 MySQL 的字符串函数。 https://dev.mysql.com/doc/refman/5.7/en/string-functions.html

IF(LOCATE(',',@name1) = 0,                               --need to change?
   @name1,                                               -- no, return original
   LEFT(CONCAT_WS(' ',                                   -- yes, concatenate...
                  TRIM(SUBSTRING_INDEX(@name1, ',',-1)), --  after last ,
                  @name1),                               --  whole name
        LENGTH(                                         -- cut to original name length
                REPLACE(@name1,',',''))))               -- but without the comma

用您的列名替换@name。请注意，这对逗号后的空格数很敏感。

将此函数定义为存储函数是明智的。一方面，您可以更好地处理奇怪的情况。另一方面，写在查询中有点长。