Python中的解码和编码

Question

我有一些文本要尝试在 Python 中解码和编码

import html.parser

original_tweet = "I luv my <3 iphone & you’re awsm 
                 apple.DisplayIsAwesome, sooo happppppy ???? 
                 http://www.apple.com"
tweet = original_tweet.decode("utf8").encode('ascii', 'ignore')

我已经在 Spyder (Python 3.6) 的一行中输入了原始推文

我收到以下消息

AttributeError: 'str' object has no attribute 'decode'

是否有另一种方法可以为 Python 3.6 重写此代码？

Answer 1

在 Python3+ 中，您的 original_tweet 字符串是一个 UTF-8 编码的 Unicode 字符串，其中包含一个 Unicode emoji。因为 Unicode 中的 65k+ 个字符是 256 个ASCII 字符的超集，所以不能简单地将 Unicode 字符串转换为 ASCII 字符串。

但是，如果您可以忍受一些数据丢失（即删除表情符号），那么您可以尝试以下操作（请参阅this 或this 相关问题）：

original_tweet = "I luv my <3 iphone & you’re awsm ..."

# Convert the original UTF8 encoded string into an array of bytes.
original_tweet_bytes = original_tweet.encode("utf-8")

# Decode that array of bytes into a string containing only ASCII characters;
# pass errors="strict" to find failing character mappings, and I also suggest
# to read up on the option errors="replace".
original_tweet_ascii = original_tweet_bytes.decode("ascii", errors="ignore")

或者作为一个简单的单行：

tweet = original_tweet.encode("utf-8").decode("ascii", errors="ignore")

请注意，这不会转换HTML entities < 和&，您可能需要单独处理。您可以使用适当的 HTML 解析器（例如 lxml），或使用简单的 string replacement：

tweet = tweet.replace("&lt;", "<").replace("&amp;", "&")

或者从 Python 3.4+ 开始，您可以像这样使用html.unescape()：

tweet = html.unescape(tweet)

另请参阅this question，了解如何处理字符串中的 HTML 实体。

附录。Python 的Unidecode 包似乎也为此提供了有用的功能，尽管在其当前版本中它不处理表情符号。