使用python从文本文件中删除重复行[重复]

Question

之前我编写了从多个文件中提取特定字符串的代码，结果存储在单独的文件中。现在这个文件有重复的结果，我需要删除。

import glob
import re
import os.path
path=r"H:\sample"
file_array=glob.glob(os.path.join(path,'*.txt'))
with open("aiq_hits.txt","w") as out_file;
    for input_filename in file_array:
        with open(input_filename) as in_file:
            for line in in_file:
                match=re.findall(r"""(?<=')[^']*\.aiq(?=')|(?<=")[^"]*\.aiq(?=")""")                  
                for item in match:
                    out_file.write("%s\n" %item)
out_file.close()

这个 out_file 有重复的结果，我需要删除，结果应该是同一个文件

Answer 1

1. 加载输入文件。
2. 逐行读取输入文件。 readlines 将返回文件内容中的行列表。
3. 创建一个新列表。
4. 迭代 lines 中的每一行。
5. 去除line中的空白。
6. 检查该行是否存在于new_lines。
7. 如果不是，则在new_lines 列表中追加 line。
8. 写入 new_lines 到文件中。

演示：

input_file = "input.txt"
with open(input_file, "r") as fp:
    lines = fp.readlines()
    new_lines = []
    for line in lines:
        #- Strip white spaces
        line = line.strip()
        if line not in new_lines:
            new_lines.append(line)

output_file = "output.txt"
with open(output_file, "w") as fp:
    fp.write("\n".join(new_lines))

添加此文本以通过验证，如果可以请删除