使用 Python 在 CSV 文件中查找和替换

Question

与a previous question 相关，我正在尝试对一些大型 CSV 文件进行替换。

文件之间的列顺序（和内容）会发生变化，但是对于每个文件，我想要并且可以通过列标题名称识别大约 10 列。对于我想要的每一列，我也有 1-2 个字典。因此，对于我想要的列，我只想使用正确的字典并希望按顺序实现它们。

我如何尝试解决此问题的示例：

# -*- coding: utf-8 -*-
import re

# imaginary csv file. pretend that we do not know the column order.
Header = [u'col1', u'col2']
Line1 = [u'A',u'X']
Line2 = [u'B',u'Y']
fileLines = [Line1,Line2]

# dicts to translate lines
D1a = {u'A':u'a'}
D1b = {u'B':u'b'}
D2 = {u'X':u'x',u'Y':u'y'}

# dict to correspond header names with the correct dictionary.
# i would like the dictionaries to be read sequentially in col1.
refD = {u'col1':[D1a,D1b],u'col2':[D2]}

# clunky replace function
def freplace(str, dict):
    rc = re.compile('|'.join(re.escape(k) for k in dict))
    def trans(m):
        return dict[m.group(0)]
    return rc.sub(trans, str)

# get correspondence between dictionary and column
C = []
for i in range(len(Header)):
    if Header[i] in refD:
        C.append([refD[Header[i]],i])

# loop through lines and make replacements
for line in fileLines:
    for i in range(len(line)):
        for j in range(len(C)):
            if C[j][1] == i:
                for dict in C[j][0]:
                    line[i] = freplace(line[i], dict)

我的问题是这段代码很慢，我不知道如何加快速度。 我是初学者，我的猜测是我的 freplace 函数在很大程度上会减慢速度，因为它必须为每一行中的每一列进行编译。我想从该函数中删除rc = re.compile('|'.join(re.escape(k) for k in dict)) 行，但不知道该怎么做，但仍然保留我的其余代码正在执行的操作。

Answer 1

您可以做很多事情来加快速度：

首先，使用csv 模块。它为读取和写入 CSV 文件提供了高效且无错误的方法。 DictReader 对象尤其是您感兴趣的对象：它将从文件中读取的每一行呈现为一个以列名作为键的字典。

其次，编译一次正则表达式，而不是每次使用它们。将编译的正则表达式保存在一个字典中，该字典由您要应用它们的列作为键。

第三，考虑如果你对一个长字符串应用一百个正则表达式，你将要从头到尾扫描该字符串一百次。这可能不是解决问题的最佳方法；您最好花点时间在一种方法上，让您从头到尾读取一次字符串。

Answer 2

你不需要re:

# -*- coding: utf-8 -*-

# imaginary csv file. pretend that we do not know the column order.
Header = [u'col1', u'col2']
Line1 = [u'A',u'X']
Line2 = [u'B',u'Y']
fileLines = [Line1,Line2]

# dicts to translate lines
D1a = {u'A':u'a'}
D1b = {u'B':u'b'}
D2 = {u'X':u'x',u'Y':u'y'}

# dict to correspond header names with the correct dictionary
refD = {u'col1':[D1a,D1b],u'col2':[D2]}

# now let's have some fun...

for line in fileLines:
    for i, (param, word) in enumerate(zip(Header, line)):
        for minitranslator in refD[param]:
            if word in minitranslator:
                line[i] = minitranslator[word]

返回：

[[u'a', u'x'], [u'b', u'y']]

Answer 3

因此，如果是这种情况，并且所有 10 列每次都具有相同的名称，但顺序不正确，（我不确定这是否是您在上面做的，但这里是）保留一个数组标题名称，每列一个，拆分为元素（每行应该是 10 个项目），现在只需通过执行 case/select 组合来偏移哪个正则表达式，比较标题数组的元素编号，然后在 case 内引用相同偏移量的数据数组，因为名称是正确的情况，您应该能够重复使用相同的 10 个正则表达式，而不必每次都重新编译一个新的“命令”。

我希望这是有道理的。对不起，我不知道帮助你的语法，但我希望我的想法是你正在寻找的 编辑： 即。

在开始循环之前初始化所有正则表达式。

然后在您阅读一行之后（以及在标题行之后）

选择数组[n]

案例“column1”

正则表达式（数据[0]）；

案例“column2”

正则表达式（数据[1]）； . . . . 结束选择

这应该为正确的列调用正确的正则表达式