mySQL - 将拉丁（英语）表单输入匹配到 utf8（非英语）数据

Question

我在 mySQL 中维护一个音乐数据库，我如何返回存储在 e.g.当人们搜索“Tiesto”时出现“Tiësto”？

所有数据都存储在全文索引下，如果这有什么不同的话。

我已经在 PHP 中使用了 Levenshtein，在 SQL 中使用了 REGEXP - 不是为了解决这个问题，而是为了提高一般的可搜索性。

PHP：

function Levenshtein($word) {

$words = array();
for ($i = 0; $i < strlen($word); $i++) {
    $words[] = substr($word, 0, $i) . '_' . substr($word, $i);
    $words[] = substr($word, 0, $i) . substr($word, $i + 1);
    $words[] = substr($word, 0, $i) . '_' . substr($word, $i + 1);
    }
$words[] = $word . '_';
return $words;
}

$fuzzyartist = Levenshtein($_POST['searchartist']);
$searchimplode = "'".implode("', '", $fuzzyartist)."'";

mySQL：

SELECT *
FROM new_track_database
WHERE artist REGEXP concat_ws('|', $searchimplode);

补充一点，我经常在 PHP 中执行字符集转换和字符串清理，但这些一直是另一种方式 - 标准化非拉丁字符。我无法理解执行相反的过程，但仅在某些情况下基于我存储的数据。

Answer 1

一个可能的解决方案是在“艺术家”旁边的数据库中创建另一个列，例如“艺术家标准化”。在这里，在填充表格时，您可以插入字符串的“规范化”版本。然后可以针对 Artist_normalized 列执行搜索。

测试代码：

<?php
$transliterator = Transliterator::createFromRules(':: NFD; :: [:Nonspacing Mark:] Remove; :: NFC;', Transliterator::FORWARD);
$test = ['abcd', 'èe', '€', 'àòùìéëü', 'àòùìéëü', 'tiësto'];
foreach($test as $e) {
    $normalized = $transliterator->transliterate($e);
    echo $e. ' --> '.$normalized."\n";
}
?>

结果：

abcd --> abcd
èe --> ee
€ --> €
àòùìéëü --> aouieeu
àòùìéëü --> aouieeu
tiësto --> tiesto

这个魔法是由 Transliterator 类完成的。指定的规则执行三个操作：分解字符串，删除变音符号，然后重新组合字符串，规范化。 PHP 中的 Transliterator 是在 ICU 之上构建的，因此通过这样做，您将依赖 ICU 库的表，这些表是完整且可靠的。

注意：此解决方案需要带有 intl 扩展名的 PHP 5.4 或更高版本。