过滤特殊字符，计算它们，然后在另一个 csv 上重写

Question

我正在尝试查看 csv 中是否有特殊字符。该文件由一列组成，大约有 180,000 行。由于我的文件包含韩文、英文和中文，我添加了가-힣``A-Z``0-9，但我不知道应该如何不过滤中文字母。或者有没有更好的方法来做到这一点？

我要找的特殊字母有：■、△、?等

我不想数的特殊字母是：单位(ex : ㎍, ㎥, ℃)、()、'等

在 stackflow 上搜索，许多问题都考虑指定特殊字母以首先查找。但就我而言，这很困难，因为我有 180,000 条记录，而且我不知道其中实际包含哪些字母。就我而言，只有三种语言；韩文、英文、中文。

这是我目前的代码：

with open("C:/count1.csv",'w',encoding='cp949',newline='') as testfile:        
    csv_writer=csv.writer(testfile)
    with open(file,'r') as fi:
            for line in fi:
                x=not('가-힣','A-Z','0-9')
                if x in line :
                    sub=re.sub(x,'*',line.rstrip())
                count=len(sub)
                lst=[fi]+[count]
                csv_writer.writerow(lst)

---

使用import re

regex=not'[가-힣]','[a-z]','[0-9]'

file="C:/kd/fields.csv"
with open("C:/specialcharacter.csv",'w',encoding='cp949',newline='') as testfile: 
    csv_writer=csv.writer(testfile)
    with open(file,'r') as fi:
            for line in fi:
                search_target = line
                result=re.findall(regex,search_target)
                print("\n".join(result))

Answer 1

我不知道你为什么考虑不过滤汉字，而你只是在寻找一些特殊的字母。 This library可以过滤中文。

1. 在您筛选的韩文、英文和数字列表顶部筛选中文：regex = "[^가-힣a-zA-Z0-9]" result=re.findall(regex,search_target)
2. 过滤 1) 您寻找的特殊字符列表或 2) 您想要避免的特殊字符列表。

明智地选择更适合您的情况的选项，以避免尽可能多的异常，这样您就不必每次都添加更多过滤器。

将列表设为正则表达式。

然后，使用正则表达式遍历 180,000 行以过滤掉这些行。

更新您的正则表达式列表，直到您过滤所有内容。