尝试将 UTF-8 数据插入 Mysql 时出现 UnicodeEncodeError

Question

我正在尝试为一个学校项目创建一个新闻应用程序，在该应用程序中我从当地报纸的 RSS 提要中获取信息，以便将多份报纸合并为一份。

当我尝试将收集到的数据插入 Mysql 数据库时遇到问题。

当我简单地打印我的日期时（例如：print urlnzz.entries[0].description），德语字符如 ü ä ö é à 没有问题。

当我尝试将数据插入 Mysql 数据库时，我得到"UnicodeEncodeError: 'ascii' codec can't encode character.."。奇怪的是，这只发生在 .title 和 .description 上，而不是 .category （即使那里也有 ü 等）

我一直在寻找答案已经有一段时间了，我用

更改了变量的编码

t = urlbernerz.entries[i].title


print t.encode('utf-8')

当我连接到数据库时将字符集更改为utf-8，甚至尝试了python的“try / except”功能，但似乎没有任何效果。

我已经用 type(u['entries'].title) 检查了每个条目的类型，它们都是 unicode，现在我需要以一种可以将它们放入我的 mysql 数据库的方式对它们进行编码

在 rss 网站上，它声明它已经编码为 utf-8，即使我明确告诉 python 也将其编码为 utf-8，它仍然给我错误：'ascii' codec can't encode字符 u'\xf6'

我已经尝试了很多关于这个主题的答案，例如使用 str() 或使用 chardet，但似乎没有任何效果。这是我的代码

import MySQLdb
import feedparser
#!/usr/bin/env python
# -*- coding: UTF-8 -*-

db = MySQLdb.connect(host="127.0.0.1", 
                     user="root",
                      passwd="",
                      db="FeedStuff",
                     charset='UTF8')
db.charset="utf8"
cur = db.cursor()




urllistnzz =['international', 'wirtschaft', 'sport']
urllistbernerz =['kultur', 'wissen', 'leben']


for u in range (len(urllistbernerz)):
    urlbernerz = feedparser.parse('http://www.bernerzeitung.ch/'+urllistbernerz[u]+'/rss.html')
    k = len(urlbernerz['entries'])
    for i in range (k):
        cur.execute("INSERT INTO articles (title, description, date, category, link, source) VALUES (' "+ str(urlbernerz.entries[i].title)+"  ', ' " + str(urlbernerz.entries[i].description)+ " ', ' " + urlbernerz.entries[i].published + " ', ' " + urlbernerz.entries[i].category + " ', ' " + urlbernerz.entries[i].link + " ',' Berner Zeitung')")

for a in range (len(urllistnzz)):
    urlnzz = feedparser.parse('http://www.nzz.ch/'+urllistnzz[a]+'.rss')
    k = len(urlnzz['entries'])
    for i in range (k):
        cur.execute("INSERT INTO articles (title, description, date, category, link, source) VALUES (' "+str(urlnzz.entries[i].title)+" ', ' " + str(urlnzz.entries[i].description)+ " ', ' " + urlnzz.entries[i].published + " ', ' " + urlnzz.entries[i].category + " ', ' " + urlnzz.entries[i].link + " ', 'NZZ')")



db.commit()

cur.close()
db.close()

Answer 1

RSS 提要的文本中可能存在其他编码的字符。 首先，您可以在嵌套的 try except 块中尝试不同的编码。其次，您可以在编码方法中添加“忽略”。喜欢：

try:
    s = raw_s.encode('utf-8', 'ignore')
except UnicodeEncodeError:
    try:
        s = raw_s.encode('latin-1', 'ignore')
    except UnicodeEncodeError:
        print raw_s

希望这会有所帮助。

Answer 2

主要问题是您在 Unicode 对象上调用 str()。取决于许多因素，这可能会导致 Python 尝试将 Unicode 编码为 ASCII，而这对于非 ASCII 字符是不可能的。

您应该尝试在代码中尽可能长时间地将 Unicode 对象保留为 Unicode 对象，并且仅在完全必要时进行转换。幸运的是，MySQL 驱动程序是 Unicode 兼容的，因此您可以将 Unicode 字符串传递给它，它会在内部进行编码。您唯一需要做的就是告诉驱动程序使用 UTF-8。 Feedparser 也是 Unicode 兼容的，它会自动将 rss 提要解码为 Unicode 字符串（没有编码的字符串）。

您的代码的某些部分也将受益于使用 Python 的内置功能，例如 for each in something:、String.format() 和长文本的三引号 (""")。

把这一切放在一起看起来像：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import MySQLdb
import feedparser

db = MySQLdb.connect(host="127.0.0.1",
                     user="root",
                      passwd="",
                      db="FeedStuff",
                     charset='UTF8')

urllistnzz =['international', 'wirtschaft', 'sport']
urllistbernerz =['kultur', 'wissen', 'leben']

cur = db.cursor()

for uri in urllistbernerz:
    urlbernerz = feedparser.parse('http://www.bernerzeitung.ch/{uri}/rss.html'.format(uri=uri))

    for entry in urlbernerz.entries:
        insert_sql = u"""INSERT INTO articles (title, description, date, category,
                        link, source) VALUES ("{e.title}", "{e.description}",
                        "{e.published}", "{e.category}", "{e.link}", "Berner Zeitung")
                        """.format(e=entry)

        cur.execute(insert_sql)

for uri in urllistnzz:
    urlnzz = feedparser.parse('http://www.nzz.ch/{uri}.rss'.format(uri=uri) )

    for entry in urlnzz.entries:
        insert_sql = u"""INSERT INTO articles (title, description, date, category,
                        link, source) VALUES ("{e.title}", "{e.description}",
                        "{e.published}", "{e.category}", "{e.link}", "NZZ")
                        """.format(e=entry)

        cur.execute(insert_sql)

db.commit()

cur.close()
db.close()

Answer 3

假设cur.execute() 需要一个 utf-8 编码的字符串：当您将它传递给 MySQL 时，您需要将其显式编码为 utf-8，只需执行 str() 将尝试将其编码为 ascii，这将失败并产生您的错误：

   cur.execute("INSERT INTO articles (title, description, date, \
   category, link, source) VALUES ('"+ \
   urlnzz.entries[i].title.encode('utf-8') +" ', ' " + \
   urlnzz.entries[i].description.encode('utf-8') + " ', ' " +  \
   urlnzz.entries[i].published + " ', ' " +  \
   urlnzz.entries[i].category + " ', ' " + urlnzz.entries[i].link + " ', 'NZZ')")

unicode 对象与 utf-8 编码中的 str 不同。 unicode 对象上的 encode 方法将生成一个 utf-8 格式的 str（假设 Python 2）