python文件读取不读取许多表情符号字符答案

【问题标题】：Many emoji characters are not read by python file readpython文件读取不读取许多表情符号字符
【发布时间】：2017-11-12 06:42:10
【问题描述】：

我在 json 文件中有一个包含 1500 个表情符号字符字典的列表，我想将它们导入到我的 python 代码中，我读取了一个文件并将其转换为 python 字典，但现在我只有 143 条记录。如何将所有表情符号导入我的代码，这是我的代码。

import sys
import ast

file = open('emojidescription.json','r').read()
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
emoji_dictionary = ast.literal_eval(file.translate(non_bmp_map))

#word = word.replaceAll(",", " ");

keys = list(emoji_dictionary["emojis"][0].keys())
values = list(emoji_dictionary["emojis"][0].values())

file_write = open('output.txt','a')

print(len(keys))
for i in range(len(keys)):
    try:
        content = 'word = word.replace("{0}", "{1}")'.format(keys[i],values[i][0])
    except Exception as e:
        content = 'word = word.replace("{0}", "{1}")'.format(keys[i],'')
    #file.write()
    #print(keys[i],values[i])
    print(content)


file_write.close()

这是我的输入样本

{

    "emojis": [
        {

            "????‍????": ["Graduate"],
            "©": ["Copy right"],
            "®": ["Registered"],
            "????‍????‍????": ["family"],
            "????‍❤️‍????‍????": ["love"],
            "™": ["trademark"],
            "????‍❤‍????": ["love"], 
            "⌚": ["time"],
            "⌛": ["wait"], 
            "⭐": ["star"],
            "????": ["Elephant"],
            "????": ["Cat"],
            "????": ["ant"],
            "????": ["cock"],
            "????": ["cock"],

这是我的结果，143 表示表情符号的数量。

143

word = word.replace("�‍�‍�‍�", "family")

word = word.replace("Ⓜ", "")

word = word.replace("♥", "")

word = word.replace("♠", "")

word = word.replace("⌛", "wait")

【问题讨论】：

你能给我们一个输入样本吗？
谢谢。您没有使用json 模块的任何特殊原因？
不是真的，我是python新手，对json模块没有太多经验。
您的 inout 示例对内部的 inages 并没有真正的帮助。但我猜 touv 没有按照 JSON 的要求正确编码/转义 unicode 字符。
输入样本没有任何问题（所以只是将 utf-8 解释为 unicode 以进行显示——应该如此）

标签： python unicode emoji python-unicode

【解决方案1】：

我不确定为什么您从 1500 的输入中只看到 143 条记录（您的样本似乎没有显示这种行为）。

设置似乎没有做任何有用的事情，但你所做的归结为（简化并跳过了很多细节）：

d = ..read json as python dict.
keys = d.keys()
values = d.values()
for i in range(len(keys)):
    key = keys[i]
    value = values[i]

这应该是完全正确的。但是，在 Python 中有更好的方法可以做到这一点，例如使用 zip 函数：

d = ..read json as python dict.
keys = d.keys()
values = d.values()
for key, value in zip(keys, values):  # zip picks pair-wise elements
    ...

或者只是向字典询问它的项目：

for key, value in d.items():
    ...

json 模块使读取和写入 json 变得更加简单（并且更安全），并且使用上面的习语可以将问题简化为：

import json

emojis = json.load(open('emoji.json', 'rb'))

with open('output.py', 'wb') as fp:
    for k,v in emojis['emojis'][0].items():
        val = u'word = word.replace("{0}", "{1}")\n'.format(k, v[0] if v else "")
        fp.write(val.encode('u8'))

【讨论】：

不客气。 MCVE (stackoverflow.com/help/mcve) 和示例输入如此重要的原因是，我们大多数人在发布代码示例之前都会在本地尝试代码示例，拥有代码 + 数据使得答案更有可能是正确和有用的......
您使用的是 16 位 Unicode 的 python 版本。因此，您无法处理位于代码点 > 0xFFFF 的表情符号。
@Daniel 啊.. 我想知道是不是这样。感谢您清理它。
@Daniel 谢谢。

【解决方案2】：

你为什么要把所有的表情符号都换成0xfffd行：

non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
emoji_dictionary = ast.literal_eval(file.translate(non_bmp_map))

别这样！

使用json：

import json

with open('emojidescription.json', encoding="utf8") as emojis:
    emojis = json.load(emojis)

with open('output.txt','a', encoding="utf8") as output:
    for emoji, text in emojis["emojis"][0].items():
        text = "" if not text else text[0]
        output.write('word = word.replace("{0}", "{1}")\n'.format(emoji, text))

【讨论】：