表情符号，当文本文件包含 utf-8 和 utf-16 时编码/解码

Question

我有一个包含以下内容的文本文件：

....     
{"emojiCharts":{"emoji_icon":"\u2697","repost": 3, "doc": 3, "engagement": 1184, "reach": 6734, "impression": 44898}}
{"emojiCharts":{"emoji_icon":"\U0001f924","repost": 11, "doc": 11, "engagement": 83, "reach": 1047, "impression": 6981}}
....

一些表情符号是\uhhhh 格式，其中一些是\Uhhhhhhhh 格式。

是否存在任何对其进行编码/解码以显示表情符号的方法？因为如果文件仅包含 \Uhhhhhhhh 则一切正常。

到这个阶段我已经这样修改了文件：

insightData.decode("raw_unicode_escape").encode('utf-16', 'surrogatepass').decode('utf-16').encode("raw_unicode_escape").decode("latin_1")

要显示表情符号，我需要使用这个：

insightData.decode("raw_unicode_escape").encode('utf-16', 'surrogatepass').decode('utf-16')

但它显示错误：

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2600' in position 30: ordinal not in range(128)

解决方案：

with open(OUTPUT, "r") as infileInsight:
    insightData = infileInsight.read()\
    .decode('raw_unicode_escape')

with open(OUTPUT, "w+") as outfileInsight:
    outfileInsight.write(insightData.encode('utf-8'))

Answer 1

你可以这样做。

print a["emojiCharts"]["emoji_icon"].decode("unicode-escape")

输出： ⚗

Answer 2

这与 UTF-8 或 UTF-16 无关。这只是 Python 转义 Unicode 字符的一般方式，U+FFFF 以下的所有内容都使用\uFFFF，而以上的所有内容都使用\UFFFFFFFF（出于历史原因）。

两个转义序列在 Python 字符串中的工作方式应该完全相同。在我的机器上，使用@vks 的解决方案：

$ python
Python 2.7.15rc1 (default, Apr 15 2018, 21:51:34)
[GCC 7.3.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> '\U0000ABCD'.decode('unicode-escape')
u'\uabcd'
>>> '\uABCD'.decode('unicode-escape')
u'\uabcd'

对于 Python 3 类似。

Answer 3

好的。 Python 2.7，Win 10。

您的原始文件是纯 ASCII 码，包含精确的 unicode 转义（“\u####”，6 个字节和“\U########”，10 个字节）。

读取文件并使用 'unicode-escape' 解码：然后你就有了一个 Python unicode 字符串；我们就叫它your_unicode_string吧。

要写入文件，请选择：

output_encoding = 'utf-8'

或

output_encoding = 'utf-16-le'

然后：

import codecs
with codecs.open(output_filename, 'w', encoding=output_encoding) as fpo:
    # fpo.write(u'\ufeff') # for windows, you might want to write this at the start
    fpo.write(your_unicode_string)

对于您给定的 python 和 os 版本并且没有任何篡改，您将无法仅在控制台上 print 并查看表情符号。