如何正确处理mysql中的dakuten和handakuten日文字符？

Question

免责声明：

1. 数据库是ut8mb4_unicode_520_ci
2. 表格字段为ut8mb4_unicode_520_ci

如何正确查询包含 dakuten 或 handakuten 日文字符的表字段？ Dakuten.

目前，似乎返回了基本字符，即使在为tenten 版本运行查询时也是如此。

示例数据

给定 へ 和 ぺ。 还有ID: 199, post_title: 'へ';一行

场景 1

运行：

SELECT 'へ' = 'ぺ'; 

-- Returns 0. Correct

场景 2

运行：

SELECT ID, post_title 
FROM wp_posts 
WHERE post_title = 'へ';

-- Returns row 199. Correct

场景 3

但是，由于某种原因，当我运行此查询时，它仍然返回记录 199，注意不同的标题值。

运行：

SELECT ID, post_title 
FROM wp_posts 
WHERE post_title = 'ぺ';

-- Returns row 199. Incorrect

示例图片

一张图片会更好地解释（我只是使用联合来更好地在一个屏幕截图中显示所有内容）：

是否有可靠的方法来处理这些角色？所有其他日文字符似乎都可以正常工作，只是 dakuten 版本仅在查询中被视为它们的基础。

Answer 1

这是因为您使用的排序规则（utf8mb4_unicode_ci、utf8mb4_unicode_520_ci 和 utf8mb4_0900_ai_ci）只比较字符的基本字母。例如，'ぺ' = 'へ' + U+309A ◌゚，'へ'是'ぺ'的基础字母。因此，对于您的情况，所有 3 个字符的基本字母都是相同的，“へ”。因此，这些归类返回“1”是正确的结果。

MySQL 团队正在为 utf8mb4 字符集开发新的日语排序规则。它将这些 dakuten 字符与基本字符区分开来。它很快就会到来。

Answer 2

SELECT 'へ' = 'ぺ' COLLATE utf8mb4_unicode_ci; --> 0  (ditto for general_ci)
SELECT 'へ' = 'ぺ' COLLATE utf8mb4_unicode_520_ci; --> 1

后者是一个较新的 Unicode 标准，因此理论上更正确。

但你到底在做什么？可能将一列与另一列进行比较？他们都是utf8mb4_unicode_520_ci吗？ （数据库和连接无关紧要。）

或者= 的一侧是一列，另一侧是文字？

连接时是否建立排序规则？

附录

在 8.0.0 版本中，所有这些都给出1：

utf8mb4_unicode_ci  -- a change from 0 in 5.6.12, but 1 in 5.7.15?
utf8mb4_unicode_520_ci
utf8mb4_0900_ai_ci