对此有许多注意事项:
- 如果您的文件很大,最好将其全部加载到内存中。
- 如果在处理过程中出现异常(甚至可能是
KeyboardInterrruptException),通常希望保持原始文件不变(因此,我们将尝试使您的操作ACID)。
- 如果多个并发进程尝试修改您的文件,您需要一些保证,至少您的文件是安全的(也是 ACID)。
- 您可能(也可能不)需要备份文件。
有多种可能性(参见例如this SO question)。然而,根据我的经验,fileinput 的结果好坏参半:它可以很容易地修改一个或多个文件,可以选择为每个文件创建一个备份,但不幸的是它急切地在每个文件中写入(在遇到例外)。我在最后放了一个例子供参考。
我发现最简单和最安全的方法是使用临时文件(在与您正在处理的文件相同的目录中,并以唯一但可识别的方式命名),从src 到tmp, then mv tmp src 其中,至少出于实际目的,is atomic on most POSIX filesystems。
def acceptall(line):
return True
def filefilter(filename, filterfunc=acceptall, backup=None):
if backup:
backup = f'{filename}{backup}' # leave None if no backup wanted
tmpname = tempfile.mktemp(prefix=f'.{filename}-', dir=os.path.dirname(filename))
with open(tmpname, 'w') as tmp, open(filename, 'r') as src:
for line in src:
if filterfunc(line):
tmp.write(line)
if backup:
os.rename(filename, backup)
os.rename(tmpname, filename)
您的案例示例:
filefilter('wappoint.txt.txt', lambda line: email not in line)
使用正则表达式排除多个电子邮件地址(不区分大小写且仅完全匹配),并生成.bak 备份文件:
matcher = re.compile(r'.*\b(bob|fred|jeff)@foo\.com\b', re.IGNORECASE)
filefilter(filename, lambda line: not matcher.match(line), backup='.bak')
我们还可以模拟如果在中间引发异常(例如在第一个匹配行)会发生什么:
def flaky(line):
if email in line:
1 / 0
return True
filefilter(filename, flaky)
这将在第一个匹配行引发ZeroDivisionError。但是请注意在这种情况下您的文件根本没有被修改(并且没有进行备份)。作为副作用,临时文件仍然存在(这与其他实用程序一致,例如 rsync,在中断时将 .filename-<random> 不完整的临时文件留在目标位置)。
正如所承诺的,这里也是一个使用 fileinput 的示例,但有前面解释过的注意事项:
with fileinput.input(filename, inplace=True, backup='.bak') as f:
for line in f:
if email not in line:
print(line, end='') # this prints back to filename