python - 使用 Django 将 Unicode 字符存储到 MySQL 时出现问题

Question

我有字符串

 u"Played Mirror's Edge\u2122"

应该显示为

 Played Mirror's Edge™

但这是另一个问题。我手头的问题是我将其放入模型中，然后尝试将其保存到数据库中。又名：

a = models.Achievement(name=u"Played Mirror's Edge\u2122")
a.save()

我得到了：

'ascii' codec can't encode character u'\u2122' in position 13: ordinal not in range(128)

完整的堆栈跟踪（根据要求）：

Traceback:
File "/var/home/ptarjan/django/mysite/django/core/handlers/base.py" in get_response
  86.                 response = callback(request, *callback_args, **callback_kwargs)
File "/var/home/ptarjan/django/mysite/yourock/views/alias.py" in import_all
  161.     types.import_all(type, alias)
File "/var/home/ptarjan/django/mysite/yourock/types/types.py" in import_all
  52.     return modules[type].import_all(siteAlias, alias)
File "/var/home/ptarjan/django/mysite/yourock/types/xbox.py" in import_all
  117.             achiever = self.add_achievement(dict, siteAlias, alias)
File "/var/home/ptarjan/django/mysite/yourock/types/base_profile.py" in add_achievement
  130.                 owner       = siteAlias,
File "/var/home/ptarjan/django/mysite/django/db/models/query.py" in get
  304.         num = len(clone)
File "/var/home/ptarjan/django/mysite/django/db/models/query.py" in __len__
  160.                 self._result_cache = list(self.iterator())
File "/var/home/ptarjan/django/mysite/django/db/models/query.py" in iterator
  275.         for row in self.query.results_iter():
File "/var/home/ptarjan/django/mysite/django/db/models/sql/query.py" in results_iter
  206.         for rows in self.execute_sql(MULTI):
File "/var/home/ptarjan/django/mysite/django/db/models/sql/query.py" in execute_sql
  1734.         cursor.execute(sql, params)
File "/var/home/ptarjan/django/mysite/django/db/backends/util.py" in execute
  19.             return self.cursor.execute(sql, params)
File "/var/home/ptarjan/django/mysite/django/db/backends/mysql/base.py" in execute
  83.             return self.cursor.execute(query, args)
File "/usr/lib/pymodules/python2.5/MySQLdb/cursors.py" in execute
  151.             query = query % db.literal(args)
File "/usr/lib/pymodules/python2.5/MySQLdb/connections.py" in literal
  247.         return self.escape(o, self.encoders)
File "/usr/lib/pymodules/python2.5/MySQLdb/connections.py" in string_literal
  180.                 return db.string_literal(obj)

Exception Type: UnicodeEncodeError at /import/xbox:bob
Exception Value: 'ascii' codec can't encode character u'\u2122' in position 13: ordinal not in range(128)

以及模型的相关部分：

class Achievement(MyBaseModel):
    name = models.CharField(max_length=100, help_text="A human readable achievement name")

我在我的 settings.py 中使用 MySQL 后端

DEFAULT_CHARSET = 'utf-8'

所以基本上，我到底应该如何处理所有这些 un​​icode 的东西？如果我远离有趣的字符集并坚持使用 UTF8，我希望这一切都能“正常工作”。唉，这似乎没那么容易。

Answer 1

感谢所有在这里发帖的人。它确实有助于我的 unicode 知识（希望其他人也学到了一些东西）。

因为我试图简化我的问题并且没有提供所有信息，所以我们似乎都找错了树。似乎我没有使用“REAL” unicode 字符串，而是使用 BeautifulSoup.NavigableString 将它们自己表示为 unicode 字符串。所以所有的打印输出看起来都像 unicode，但实际上并非如此。

在 MySQLDB 库的某个深处，他们无法处理这些字符串。

这行得通：

>>> Achievement.objects.get(name = u"Mirror's Edge\u2122")
<Achievement: Mirror's Edge™>

另一方面：

>>> b = BeautifulSoup(u"<span>Mirror's Edge\u2122</span>").span.string
>>> Achievement.objects.get(name = b)
... Exceptoins ...
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 13: ordinal not in range(128)

但这有效：

>>> Achievement.objects.get(name = unicode(b))
<Achievement: Mirror's Edge™>

所以，再次感谢所有 unicode 帮助，我相信它会派上用场。但是现在...

警告：BeautifulSoup 不返回 REAL unicode 字符串，在对它们进行任何有意义的操作之前应该使用 unicode() 强制执行。

Answer 2

我同意尼古拉的观点。我已经遇到了使用 UTF-8 的问题，即使在纯 Python (2.5) 中也是如此。

我终于用上了unicode函数（？）：

entry    = unicode(sys.stdin, ENCODING)

编码取决于语言环境，如果我没记错的话：

import sys, locale

ENCODING    = locale.getdefaultlocale()[1]
DEFAULT_ENCODING    = sys.getdefaultencoding()

也许看看Python Unicode HOWTO？

Answer 3

我在使用 mysql 和 postgres 时遇到了类似的问题，但使用 sqllite 没有问题。

这就是我用 postgres 解决问题的方法（没有用 mysql 测试这个技巧，但我认为它也会解决它）

在你处理 unicode 字符串的文件中做一个

from django.utils.safestring import SafeUnicode

并假设 unistr 是包含字符串的变量，执行

unistr = SafeUnicode(unistr)

就我而言，我是从网站上抓取的

出现问题的原始代码（ht 是 beautifulsoup 对象）：-

keyword = ht.a.string

修复：-

keyword = SafeUnicode(ht.a.string)

我不知道 SafeUnicode 为何或在做什么，我只知道它解决了我的问题。

Answer 4

几点说明：

• Python 2.x 有两种字符串类型

  • “str”，它基本上是一个字节数组（所以你可以在里面存储任何你喜欢的东西）
  • "unicode"，内部为UCS2/UCS4编码的unicode

• 这些类型的实例被视为“解码”数据。内部表示是参考，因此您将外部数据“解码”到其中，然后将外部数据“编码”为某种外部格式。

• 一个好的策略是在数据进入系统时尽早解码，并尽可能晚地进行编码。尽量对系统中的字符串使用 unicode。 （在这方面我不同意 Nikolai）。

• 此编码方面适用于 Nicolai 的回答。他获取原始的 unicode 字符串，并将其编码为 utf-8。但这并没有解决问题（至少不是一般情况下），因为生成的字节缓冲区仍然包含范围之外的字节（127）（我没有检查对于 \u2122)，这意味着您将再次遇到相同的异常。

• Nicolai 的分析仍然认为您正在传递一个 unicode 字符串，但在系统的某个地方，这被视为 str 实例。如果在某个地方将 str() 函数应用于您的 unicode 参数就足够了。

• 在这种情况下，Python 使用所谓的默认编码，如果您不更改它就是 ascii。有一个函数 sys.setdefaultencoding 可以用来切换到例如utf-8，但该功能仅在有限的上下文中可用，因此您无法在应用程序代码中轻松使用它。

• 我的感觉是问题出在您调用的层的更深处。不幸的是，我无法评论 Django 或 MySQL/SQLalchemy，但我想知道在模型中声明“名称”属性时是否可以指定 unicode 类型。在字段级别处理类型信息将是一种很好的数据库实践。也许还有 CharField 的替代品？！

• 是的，您可以安全地将单引号 (') 嵌入双引号 (") 字符串中，反之亦然。

Answer 5

对我来说，撇号看起来很奇怪，不应该这样转义吗：

u"Played Mirror\'s Edge\u2122"

Answer 6

您正在使用“unicode”类型的字符串。如果您的模型或 SQL 后端不支持它们或不知道如何转换为 UTF-8，则只需自己进行转换。坚持使用简单的字符串（python 类型 str）并像 in 一样转换

a = models.Achievement(name=u"Played Mirror's Edge\u2122".encode("UTF-8"))

Answer 7

我昨天正在处理这个问题，我发现在连接字符串中添加“charset=utf8”和“use_unicode=1”可以正常工作（使用 SQLAlchemy，猜想是同样的问题）。

所以我的字符串看起来像： "mysql://user:pass@host:3306/database?use_unicode=1&charset=utf8"