如何通过熊猫过滤满足正则表达式的行

Question

我正在尝试找出一种方法，通过 Pandas 仅选择满足我的正则表达式的行。我的实际数据集 data.csv 有一列（标题未标记）和数百万行。前四行如下所示：

5;4Z13H;;L
5;346;4567;;O
5;342;4563;;P
5;3LPH14;4567;;O

我写了下面的正则表达式

([1-9][A-Z](.*?);|[A-Z][A-Z](.*?);|[A-Z][1-9](.*?);)

它将从第 1 行识别 4Z13H; 和从第 4 行识别 3LPH14;。基本上我希望 pandas 过滤我的数据并选择第 1 行和第 4 行。 所以我想要的输出是

5;4Z13H;;L
5;3LPH14;4567;;O

然后，我想将过滤器行的子集保存到新的 csv、filteredData.csv 中。到目前为止我只有这个：

import pandas as pd
import numpy as np
import sys
import re


sys.stdout=open("filteredData.csv","w")

def Process(filename, chunksize):
    for chunk in pd.read_csv(filename, chunksize=chunksize):
        df[0] = df[0].re.compile(r"([1-9][A-Z]|[A-Z][A-Z]|[A-Z][1-9])(.*?);")
        sys.stdout.close()


if __name__ == "__main__":
    Process('data.csv', 10 ** 4)

我对 python 还是比较陌生，所以上面的代码有一些语法问题（我还在试图弄清楚如何使用 pandas chunksize）。然而，主要问题是通过正则表达式过滤行。非常感谢任何人的建议

Answer 1

一种方法是将 csv 读取为 pandas 数据框，然后使用 str.contains 创建掩码列

df['mask'] = df[0].str.contains('(\d+[A-Z]+\d+)') #0 is the column name
df = (df[df['mask'] == True]).drop('mask', axis = 1)

您会得到所需的数据帧，如果您愿意，可以使用 df = df.reset_index() 重置索引

    0
0   5;4Z13H;;L
3   5;3LPH14;4567;;O

其次是首先读取csv并创建一个仅包含过滤行的编辑文件，然后读取过滤后的csv以创建数据框

with open('filteredData.csv', 'r') as f_in:
    with open('filteredData_edit.csv', 'w') as f_outfile:
        f_out = csv.writer(f_outfile)
        for line in f_in:
            line = line.strip()
            row = []
            if bool(re.search("(\d+[A-Z]+\d+)", line)):
                row.append(line)
                f_out.writerow(row)
df = pd.read_csv('filteredData_edit.csv', header = None)      

你得到

    0
0   5;4Z13H;;L
1   5;3LPH14;4567;;O

根据我的经验，我更喜欢第二种方法，因为在创建数据框之前过滤掉不需要的行会更有效。