Pyramid 中的 Unicode 地狱：MySQL -> SQLAlchemy -> Pyramid -> JSON

Question

背景

我对 unicode 和 Python 感到很困惑。这似乎是一种常见的焦虑，我尝试过使用其他解决方案，但我无法理解它。

设置

MySQL 数据库设置

• collat​​ion_database： utf8_general_ci
• character_set_database： utf8

SQLAlchemy 模型

class Product(Base):
    id = Column('product_id', Integer, primary_key=True)
    name = Column('product_name', String(64)) #Tried using Unicode() but didn't help

金字塔视图

@view_config(renderer='json', route_name='products_search')
def products_search(request):
    json_products = []
    term = "%%%s%%" % request.params['term']

    products = dbsession.query(Product).filter(Product.name.like(term)).all()

    for prod in products:
        json_prod = {'id': prod.id, 'label': prod.name, 'value': prod.name, 'sku': prod.sku, 'price': str(prod.price[0].price)}
        json_products.append(json_prod)

    return json_products

问题

我收到来自 json 模块（称为此路由的渲染器）报告的编码错误，如下所示：

UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 37: invalid start byte

罪魁祸首是 prod.name 值中的“-”（破折号）。完整堆栈跟踪here。如果退回的产品中没有“-”，则一切正常！

试过

在返回 json_products 变量之前，我已经尝试过各种类型的编码、解码。

Answer 1

above comment 是对的，但更具体地说，您可以将'label': prod.name 替换为'label': prod.name.decode("cp1252")。您可能还应该对 json_prod 字典中的所有字符串执行此操作，因为在您的应用程序的实际使用中，您很可能会在其他地方看到 cp1252 编码字符。

请注意，根据这些字符串的来源以及该来源在您的应用中使用的广泛程度，您可能会在应用的其他地方遇到此类问题，而且通常是在您最不期望的时候。为了进一步调查，您可能想弄清楚这些字符串的来源是什么，以及您是否可以在较低级别进行解码/重新编码以纠正大多数未来的问题。