Python 强制 dict 条目为 utf-8

Question

我花了一个下午的大部分时间尝试将字典对象修补为 utf-8 编码来代替 unicode。我正在尝试找到最快和性能最好的方法来扩展字典对象并确保它的条目、键和值都是 utf-8。

这是我想出的，它可以完成工作，但我想知道可以进行哪些改进。

class UTF8Dict(dict):
    def __init__(self, *args, **kwargs):
        d = dict(*args, **kwargs)
        d = _decode_dict(d)
        super(UTF8Dict,self).__init__(d)
    def __setitem__(self,key,value):
        if isinstance(key,unicode):
            key = key.encode('utf-8')
        if isinstance(value,unicode):
            value = value.encode('utf-8')
        return super(UTF8Dict,self).__setitem__(key,value)

def _decode_list(data):
    rv = []
    for item in data:
        if isinstance(item, unicode):
            item = item.encode('utf-8')
        elif isinstance(item, list):
            item = _decode_list(item)
        elif isinstance(item, dict):
            item = _decode_dict(item)
        rv.append(item)
    return rv

def _decode_dict(data):
    rv = {}
    for key, value in data.iteritems():
        if isinstance(key, unicode):
            key = key.encode('utf-8')
        if isinstance(value, unicode):
            value = value.encode('utf-8')
        elif isinstance(value, list):
            value = _decode_list(value)
        elif isinstance(value, dict):
            value = _decode_dict(value)
        rv[key] = value
    return rv

改善以下任何一项的建议将非常有帮助：

• 性能
• 涵盖更多边缘情况
• 错误处理

Answer 1

我同意 cmets 的说法，即这可能会被误导。也就是说，您当前的方案中有一些漏洞：

1. d.setdefault 可用于将 unicode 对象添加到您的 dict：

   >>> d = UTF8Dict()
   >>> d.setdefault(u'x', u'y')
   

2. d.update 可用于将 unicode 对象添加到您的 dict：

   >>> d = UTF8Dict()
   >>> d.update({u'x': u'y'})
   

3. 可以使用任何标准列表操作修改包含在 dict 中的列表值以包含 unicode 对象。例如：

   >>> d = UTF8Dict(x=[])
   >>> d['x'].append(u'x')
   

为什么你要确保你的数据结构只包含 utf-8 字符串？