你如何跳过 txt 中的重复行？答案

【问题标题】：How do you skip duplicate lines in the txt s?你如何跳过 txt 中的重复行？
【发布时间】：2020-11-02 22:27:09
【问题描述】：

我正在从网站页面捕获数据，之后，我会通过命令将名称过滤作为输入同时存储在 txt 中：

   with open( 'Peoples.txt' , 'w' ) as archive :
       archive.write( x )
       archive.write('\n')
       archive.close()

输入数据同时从变量“X”写入。随着数据到达，它们将被重复，并保持这种状态。

  Isabela Novark
  Isabela Novark
  Isabela Novark
  Julian Ferrer
  Angelic Bertford

简而言之：如何在不重复这些重复的情况下继续接收 txt 上的数据？

【问题讨论】：

如果你使用 pandas 数据框，你可以使用 drop duplicates 功能。
您不需要使用archive.close()，因为with open() 语句会自动处理它。
@gnodab 我还不知道这个工具
Here 是供您阅读的文档。

标签： python python-3.x python-2.7 python-requests

【解决方案1】：

如果你想使用纯 Python 解决方案，你可以使用 set 来存储已经见过的名字。

例如：

names = ['Isabela Novark',
  'Isabela Novark',
  'Isabela Novark',
  'Julian Ferrer',
  'Angelic Bertford']

seen = set()

with open('Peoples.txt', 'w') as archive:
    for x in names:
        if x in seen:
            continue
        seen.add(x)
        print(x, file=archive)

将使用内容创建Peoples.txt：

Isabela Novark
Julian Ferrer
Angelic Bertford

【讨论】：