UnicodeDecodeError：“utf8”编解码器无法解码位置 12 中的字节 0x9a

Question

我正在使用 chatterbot 库开发一个聊天机器人。聊天机器人是我的母语 --> 斯洛文尼亚语，其中有很多奇怪的字符（例如：š、č、ž）。我正在使用 python 2.7。

当我尝试训练机器人时，库遇到了上述字符的问题。例如，当我运行以下代码时：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam še dopusta?",
            "Letos imate še 19 dni dopusta.",
        ])

它会抛出以下错误：

UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a in position 12: invalid start byte

我在文件顶部添加了# -*- coding: utf-8 -*- 行，我还通过我的编辑器（Sublime text 3）将所有使用文件的编码更改为 utf-8，我使用以下代码更改了系统默认编码：

import sys
reload(sys)
sys.setdefaultencoding('utf8')

字符串的类型是 unicode。

当我尝试使用这些奇怪的字符获得响应时，它可以工作，它们没有任何问题。例如，在与上述训练代码相同的执行过程中运行以下代码（当我在训练字符串中将 'š' 更改为 's' 并将 'č' 更改为 'c' 时），不会引发错误：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam se dopusta?",
            "Letos imate se 19 dni dopusta.",
        ])    
chatBot.get_response("Koliko imam še dopusta?")

我找不到此问题的解决方案。有什么建议么？ 提前感谢负载。 :)

编辑：我使用 from __future__ import unicode_literals 来制作 unicode 类型的字符串。我还使用 type(myString) 方法检查了它们是否真的是 unicode

我也想粘贴这个link。

编辑 2：@MallikarjunaraoKosuri - 的代码有效，但在我的情况下，我在聊天机器人实例初始化中还有一件事，如下所示：

chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer',
    storage_adapter='chatterbot.storage.JsonFileStorageAdapter'
)

这是我的错误的原因。聊天机器人创建的 json 存储文件是用我的本地编码而不是 utf-8 创建的。似乎默认存储（.sqlite3）没有这个问题，所以现在我将避免使用 json 存储。但我仍然有兴趣找到解决此错误的方法。

Answer 1

您示例中的字符串是 not 类型的 unicode。

否则 Python 不会抛出 UnicodeDecodeError。
这种类型的错误表明，在程序执行的某个步骤，Python 尝试将字节串解码为 un​​icode，但由于某种原因失败了。

在您的情况下，原因是：

解码由utf-8配置

您的源文件不在utf-8 中，几乎可以肯定在cp1252 中：

import unicodedata

b = '\x9a'

# u = b.decode('utf-8') # UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a 
                        # in position 0: invalid start byte

u = b.decode('cp1252')

print unicodedata.name(u) # LATIN SMALL LETTER S WITH CARON
print u # š

因此，cp1252 源中的 0x9a 字节无法使用 utf-8 解码。

---

最好的解决方案是除了将您的源代码转换为 utf-8 之外什么都不做。
使用 Sublime Text 3，您可以通过以下方式轻松完成：File -> Reopen with Encoding -> UTF-8。
但是不要忘记在转换之前 Ctrl+C 你的源代码，因为在那之后你所有的 š, č, ž 字符将被替换为?.

Answer 2

我们的一些朋友已经提出了好的部分解决方案，但我还是想将所有解决方案合二为一。

作者@gunthercox 建议这里描述了一些指南http://chatterbot.readthedocs.io/en/stable/encoding.html#how-do-i-fix-python-encoding-errors

# -*- coding: utf-8 -*-
from chatterbot import ChatBot

# Create a new chat bot named Test
chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer'
)

chatBot.train([
    "Koliko imam še dopusta?",
    "Letos imate še 19 dni dopusta.",
])

Python 终端

>>> # -*- coding: utf-8 -*-
... from chatterbot import ChatBot
>>> 
>>> # Create a new chat bot named Test
... chatBot = ChatBot(
...     'Test',
...     trainer='chatterbot.trainers.ListTrainer'
... )
>>> 
>>> chatBot.train([
...     "Koliko imam še dopusta?",
...     "Letos imate še 19 dni dopusta.",
... ])
List Trainer: [####################] 100%
>>>