Python 中的 Unicode - 解析 JSON

Question

我编写了这段小代码来获取 JSON 文件并将其内容导入到 consul 键值存储中 - 我很高兴递归完全按照我的预期工作，但是当源 .json 文件包含非-ASCII：

#!/usr/bin/python

import sys
import json

filename = str(sys.argv[1])
fh = open(filename)

def printDict (d, path):
  for key in d:
    if isinstance(d[key], dict):
      printDict(d[key], path + str(key) + "/")
    else:
      print 'curl -X PUT http://localhost:8500/v1/kv/' + filename + path + key + ' -d "' + str(d[key]) + '"'
  return

j = json.load(fh)
printDict(j, "/")

磁盘上的失败 JSON 文件示例：

{
    "FacetConfig" : {
        "facet:price-lf-p" : {
             "prefixParts" : "£"
        }
    }
}

当我按原样运行代码时，我遇到了一个令人讨厌的异常，因为那个漂亮的简单 str() 无法将英国货币英镑符号转换为 7 位 ASCII：

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 0: ordinal not in range(128)

我怎样才能解决这个问题，而不会过多地浪费一开始是小而优雅的代码？ :)

Answer 1

而不是使用str()，encode 明确的 unicode 值。由于您将值用作 URL 元素，因此您必须将密钥编码为 UTF-8，然后 URL 引用它；该值只需要编码为 UTF-8。

import urllib

print ('curl -X PUT http://localhost:8500/v1/kv/' + filename + path +
       urllib.quote(key.encode('utf8')) + ' -d "' + 
       unicode(d[key]).encode('utf8') + '"')

您可以在此处使用字符串格式以使其更具可读性：

print 'curl -X PUT http://localhost:8500/v1/kv/{}{}{} -d "{}"'.format(
    filename, path, urllib.quote(key.encode('utf8')), 
    unicode(d[key]).encode('utf8'))

如果d[key] 始终是字符串值，则unicode() 调用是多余的，但如果您还有数字、布尔值或None 值，这将确保代码继续工作。

服务器可能需要一个 Content-Type 标头；如果您确实发送了一个，也许可以考虑在标题中添加一个charset=utf8 参数。然而，看起来 Consul 将数据视为不透明的。

Answer 2

只需从str(d[key]) 中删除str。也就是说，

print ('curl -X PUT http://localhost:8500/v1/kv/' + filename + 
       path + key + ' -d "' + str(d[key]) + '"')

变成：

print ('curl -X PUT http://localhost:8500/v1/kv/' + filename + 
       path + key + ' -d "' + d[key] + '"')

这里的问题是，Python 2 中的str 类型基本上仅限于ASCII 字符。 type(d[key]) 是unicode，所以你不能把它转换成str...不过没关系，我们无论如何都可以打印出来。

Answer 3

我怎样才能解决这个问题，而又不浪费太多的代码？ 开始时小巧而优雅？

很遗憾，为了防止解码/编码错误，还需要几个额外的步骤。 python 2.x 有很多地方可以进行 implicit 编码/解码，即在你背后未经你的许可。当 python 进行隐式编码/解码时，它使用 ascii 编解码器，如果存在 utf-8（或任何其他非 ascii）字符，这将导致编码/解码错误。因此，您必须找到所有 python 进行隐式编码/解码的地方，并将它们替换为显式编码/解码——如果您希望您的程序在这些地方处理非 ascii 字符。

至少，任何来自外部源的输入都应该在继续之前解码为 un​​icode 字符串，这意味着您必须知道输入的编码。但是如果将 unicode 字符串与常规字符串结合使用，则会出现编码/解码错误，例如：

#-*- coding: utf-8 -*-   #Allows utf-8 characters in your source code
unicode_str = '€'.decode('utf-8')
my_str = '{0}{1}'.format('This is the Euro sign: ', unicode_str) 

--output:--
Traceback (most recent call last):
  File "1.py", line 3, in <module>
    my_str = '{0}{1}'.format('hello', unicode_str) 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 0: ordinal not in range(128)

因此，您的所有字符串可能都应该解码为 un​​icode 字符串。那么当你想输出字符串时，你需要对unicode字符串进行编码。

import sys
import json
import codecs
import urllib

def printDict(d, path, filename):
    for key, val in d.items():  #key is a unicode string, val is a unicode string or dict
        if isinstance(val, dict): 
            printDict(
                val,
                u'{0}{1}/'.format(path, key),  #format() specifiers require 0,1 for python 2.6
                filename
            )
        else:
            key_str = key.encode('utf-8')
            val_str = val.encode('utf-8')

            url = '{0}{1}{2} -d "{3}"'.format(
                filename, 
                path, 
                key_str, 
                val_str
            )
            print url
            url_escaped = urllib.quote(url)
            print url_escaped

            curl_cmd = 'curl -X PUT'            
            base_url = 'http://localhost:8500/v1/kv/'
            print "{0} {1}{2}".format(curl_cmd, base_url, url_escaped)


filename = sys.argv[1].decode('utf-8')
file_encoding = 'utf-8'
fh = codecs.open(filename, encoding=file_encoding)
my_json = json.load(fh)
fh.close()

print my_json

path = "/"
printDict(my_json, path.decode('utf-8'), filename)  #Can the path have  non-ascii characters in it?

--output:--
{u'FacetConfig': {u'facet:price-lf-p': {u'prefixParts': u'\xa3'}}}
data.txt/FacetConfig/facet:price-lf-p/prefixParts -d "£"
data.txt/FacetConfig/facet%3Aprice-lf-p/prefixParts%20-d%20%22%C2%A3%22
curl -X PUT http://localhost:8500/v1/kv/data.txt/FacetConfig/facet%3Aprice-lf-p/prefixParts%20-d%20%22%C2%A3%22