simplejson: 加载西班牙语字符 -- utf-8

Question

我正在尝试使用 Python 的 simplejson 加载一些地理数据。

<!-- language: lang-py -->
string = file("prCounties.txt","r").read().decode('utf-8')  
d = simplejson.loads(string)    

文本文件有一个波浪号，单词应该是 Añasco 而不是 SimpleJson 不解析的 u"A\xf1asco"。来源是geoJson file from github

{"type": "FeatureCollection", "properties": {"kind": "state", "state": "PR"}, "features": [[{"geometry": {"type": "MultiPolygon", "coordinates": [[[[-67.122, 18.3239], [-67.0508, 18.3075], [-67.0398, 18.291], [-67.0837, 18.2527], [-67.122, 18.2417], [-67.1603, 18.2746], [-67.1877, 18.2691], [-67.2261, 18.2965], [-67.1822, 18.3129], [-67.1275, 18.3184]]]]}, "type": "Feature", "properties": {"kind": "county", "name": u"A\xf1asco", "state": "PR"}}]]}

Python 给了我错误simplejson.decoder.JSONDecodeError: Expecting object

---

我用来从 GitHub 加载生成prCounties.txt 的脚本。变量counties 是与相关 GEOjson 数据的位置相关的字符串列表。

很明显，这不是保存这些数据的正确方法：

<!-- language: lang-py -->
countyGeo = [ ]

for x in counties:      
    d = simplejson.loads(urllib.urlopen("https://raw.github.com/johan/world.geo.json/master/countries/USA/PR/%s" % (x)).read())         
    countyGeo += [ d["features"][0]]
    d["features"][0]=countyGeo  
file("prCounties.txt", "w").write(str(d))

编辑：在最后一行，我将str 替换为simplejson.dumps。我猜它现在可以正确编码。 file("prCounties.txt", "w").write(simplejson.dumps(d))

Answer 1

这里有两个问题。第一：

string = file("prCounties.txt","r").read().decode('utf-8')

你为什么要解码它？ JSON 显式采用 UTF-8 字符串。这是 JSON 定义的一部分。 simplejson 可以处理 Unicode 字符串这一事实使它更易于使用，但它通过将它们编码回 UTF-8 来有效地处理它们，所以……为什么不一开始就这样呢？

更重要的是，您的数据来自哪里？如果 prCounties.txt 中包含 u"Añasco"，则它不是 JSON。您不能仅仅因为它们看起来相似就将某些东西编码为一种标准并解码为完全不同的标准。

例如，如果您执行了open('prCounties.txt', 'w').write(repr(my_dict))，则必须使用 Python 的repr 解析器（可能是ast.literal_eval，或者您必须自己编写一些东西）来读回它。

或者，如果您想将数据解析为 JSON，请首先将其写为 JSON。

---

根据您的评论，数据是从https://raw.github.com/johan/world.geo.json/master/countries/USA/PR/Añasco.geo.json 读取的

该 URL 的原始内容是：

{"type":"FeatureCollection","properties":{"kind":"state","state":"PR"},"features":[
{"type":"Feature","properties":{"kind":"county","name":"Añasco","state":"PR"},"geometry":{"type":"MultiPolygon","coordinates":[[[[-67.1220,18.3239],[-67.0508,18.3075],[-67.0398,18.2910],[-67.0837,18.2527],[-67.1220,18.2417],[-67.1603,18.2746],[-67.1877,18.2691],[-67.2261,18.2965],[-67.1822,18.3129],[-67.1275,18.3184]]]]}}
]}

您会注意到那里没有"name": u"Añasco"（或"name": u"A\xf1asco"，或类似的东西）。您只需调用 read 即可阅读此内容——无需从 UTF-8 或其他任何内容进行解码——只需将其传递给 simplejson.loads 即可：

$ curl -O https://raw.github.com/johan/world.geo.json/master/countries/USA/PR/Añasco.geo.json
$ cp Añasco.geo.json prCounties.txt
$ python
>>> import simplejson
>>> string = file("prCounties.txt","r").read()
>>> d = simplejson.loads(string)
>>> print d
{u'type': u'FeatureCollection', u'properties': {u'kind': u'state', u'state': u'PR'}, u'features': [{u'geometry': {u'type': u'MultiPolygon', u'coordinates': [[[[-67.122, 18.3239], [-67.0508, 18.3075], [-67.0398, 18.291], [-67.0837, 18.2527], [-67.122, 18.2417], [-67.1603, 18.2746], [-67.1877, 18.2691], [-67.2261, 18.2965], [-67.1822, 18.3129], [-67.1275, 18.3184]]]]}, u'type': u'Feature', u'properties': {u'kind': u'county', u'name': u'A\xf1asco', u'state': u'PR'}}]}

看，完全没有错误。

在某个地方，您已经对这些数据进行了一些处理，以将其转换为非 JSON 的其他内容。我的猜测是，除了做了一堆不必要的额外decode 和encode 调用之外，你还做了一个simplejson.loads，然后尝试重新simplejson.loads repr 的dict你回来了。或者，也许您已经对一个充满已编码 JSON 字符串的 dict 进行了 JSON 编码。无论您做了什么，错误所在是该代码，而不是您向我们展示的代码。

最简单的解决方法可能是首先正确生成prCounties.txt。每行只需要 70 多次下载，可能需要 2 行 bash 或 4 行 Python 才能完成……

Answer 2

您的输入文件不是有效的 JSON。在"A\xf1asco" 字符串之前有一个u，这是Python 语法，不是JSON 语法。应该是：

"name":"A\xf1asco",

这行得通：

>>> import json
>>> json.loads(u'{"name":"A\xf1asco"}')
{u'name': u'A\xf1asco'}

Answer 3

您必须删除 prCounties.txt 文件中的“u”（如前所述）。然后你可以使用这段代码，它可以很好地以 simplejson.loads() 函数可读的格式创建变量“string”：

import simplejson
string = file("prCounties.txt", "r").read().decode("string-escape")
string = unicode(string, "latin-1")
simplejson.loads(string)