PHP vs Python 处理存储在数据库中的 Unicode 值

Question

我有一个 PHP 支持的网站，可以处理来自 JSON 的数据输入。 JSON 输入存储在数据库中，然后显示给用户。普通的东西……

现在我正在尝试使用 Python 脚本来处理添加类似数据的问题，但遇到了 Unicode 问题。即，Python 使用MySQLdb 输入数据库的特殊字符在显示页面时（通过 PHP/HTML）不会正确显示。

这是一个例子：

• JSON 来源：© 2015

  ---

• 来自 PHP 插入的数据库中的数据：© 2015

• PHP DB 在网络上的样子插入：© 2015

  ---

• 来自 Python 的 DB 中的数据插入 © 2015

• 从 Python 数据库插入到 Web 上的样子：� 2015

MySQLdb 的通用代码（comment 是 <type 'unicode'>，我遇到了麻烦）：

db = MySQLdb.connect("localhost", "root", "pass", "database",
    use_unicode=True, charset='utf8' )

dbc = db.cursor()

dbc.execute("INSERT INTO `marks` (`id`, `title`, `comment`) VALUES (NULL, %s, %s)",
    [ title, comment ])

db.commit()
db.close()

在输出端，我使用 PHP DOMDocument 将文本加载并打印为 HTML：

@$descriptionText->loadHTML( '<meta http-equiv="content-type" content="text/html; charset=utf-8">'.$mark['Mark']['comment'] );
echo $descriptionText->saveHTML();

因此，PHP 正在对数据库中的数据进行编码，以便在转储出来时看起来很奇怪，但在编码为 HTML 时可以正确呈现。有什么办法可以在 Python 中复制这种行为？

Answer 1

由于您没有从您的 PHP 支持的网站生成任何代码，我们无法确定它是否正确处理 unicode，或者根本无法确定。如果来自 PHP 插入的 DB 中的数据确实（如问题所述）显示为 © 2015（特别是 python 字符串 u'\xc2\xa9 2015'，请注意 u 将其表示为 unicode 字符串），那么您的 PHP 应用程序实际上做了什么insert 使用utf-8 编解码器对输入的unicode 字符串进行解码，然后在数据库插入中，所有内容都被编码为ISO8859-1（或latin1）。加载时，查询返回一个latin1 字符串，PHP 应用程序使用utf8 编解码器对其进行解码以取回原始unicode。

对于 Python 代码，由于所有操作都在 utf8 中完成，没有 latin1 步骤，当 PHP 脚本尝试加载该数据时，它将尝试解码失败，因为字节 \xa9 是一个错误并且PHP 默认使用\ufffd unicode 代码点替换错误。

要使您的 Python 插入与您的 PHP 网站兼容并作为测试以查看此推断是否正确，请尝试

dbc.execute("INSERT INTO `marks` (`id`, `title`, `comment`)"
    "VALUES (NULL, %s, %s)", [
        title.encode('utf8').decode('latin1'),
        comment.encode('utf8').decode('latin1'),
])

这基本上将所有 unicode 转换为您的 PHP 应用程序所期望的原始 latin1 代码点，因为正如我所提到的，它可能假定所有表都是 utf8 编码字符串，由 latin1 字符集表示。