Python：使用熊猫从CSV文件中删除非ASCII字符[重复]

Question

我有一个 utf-8 编码的文本短信 csv 文件。

import pandas as pd
data = pd.read_csv('my_data.csv', sep=',')
data.head()

它的输出如下：

id    city    department    sms                    category
01    khi      revenue      quk respns.                1
02    lhr      revenue      good.                      1
03    lhr      revenue      †h\0h2h\0hh\               0
04    isb      accounts     ?xœ1øiûüð÷üœç8i            0
05    isb      accounts     %â¡ã‘ã¸$ãªã±t%rã«ãÿã©â£    0

我想删除 sms 列具有垃圾值的所有记录/行，例如记录 3,4 和 5。可能它们是用英语以外的语言编写的，我不太确定这些发生了什么记录。记录 1 和 2 可以保留，尽管 sms 列中使用的语言是非正式的（就像人们通常在短信中所做的那样）。鉴于我有大约 200 万条记录，实现这一目标的便捷方法是什么。

编辑： 我想删除sms 列中所有非ascii 字符的行。

Answer 1

使用str.isalnum 过滤非字母数字行：

In[46]:
df[df['sms'].str.isalnum()]

Out[46]: 
   id city department          sms  category
0   1  khi    revenue  quk respns.         1
1   2  lhr    revenue        good.         1

更新

如果您真的想过滤掉任何包含非 ascii 字符的行，那么您可以使用正则表达式模式：

In[72]:
df[~df['sms'].str.contains(r'[^\x00-\x7F]+')]

Out[72]: 
   id city department          sms  category
0   1  khi    revenue  quk respns.         1
1   2  lhr    revenue        good.         1

因此，正则表达式模式'[^\x00-\x7F]+' 在这里查找 ascii 范围内的十六进制值，最高可达 128 (7f)，因此它查找范围为 0-128（不包括 128）的字符，我们使用 ^ 否定它以便它在文本中的任何地方寻找非 ascii 的存在，我们使用 ~ 反转此掩码并使用它来掩盖 df