Python 或 bash 脚本：如果模式在两个相同标记之间的行中，则删除行和第一个标记

Question

作为初学者，我正在尝试解决以下问题（bash 或 python 脚本）：

文件（~50G！）：

marker
xxx
xxx
xxx
pattern
marker
xxx
xxx
xxx
marker
xxx
xxx
xxx
pattern

我想找到一种方法来删除两个markers + 第一个marker 之间的行，但不是marker 的最后一次出现如果没有pattern 可以在整个行中找到。

想要的结果：

marker
xxx
xxx
xxx
pattern
[empty!]
marker
xxx
xxx
xxx
pattern

我尝试用 regex 或 awk 来解决它（这是一个非常害羞的开始）

awk '/marker/{f=1} f; /marker/{f=1}' file

但我很难理解如何在一个可以解决整个问题的函数中实现它。如果有人能帮助我，我会非常高兴！

干杯

Answer 1

这是一种在 python 中执行此操作的方法。将marker 视为分隔符，然后从文本sn-ps 中删除不包含pattern 的任何内容

f = open('markerfile.txt','r')

lines = f.read().split('marker\n')
lines = [entry for entry in lines if 'pattern' in entry or not entry]
print 'marker\n'.join(lines)

编辑：列表推导中的or not entry 位仅处理marker 是文件中第一行的情况。

编辑 2：这是一个流版本（更适合大文件。）它使用来自 itertools 的 islice 一次获取文件的 n 行。算法的其余部分大致相同。

from itertools import islice

f = open('markerfile.txt','r')
fout = open('markersout.txt','w')

n=5
while True:
    next_n_lines = ''.join(list(islice(f, n)))
    if not next_n_lines:
        break
    lines = next_n_lines.split('marker\n')
    lines = [entry for entry in lines if 'pattern' in entry or not entry]
    print >> fout, 'marker\n'.join(lines).strip()

f.close()
fout.close()