如何在python中删除csv行中的重复单词？

Question

我正在使用 csv 文件，我有很多行包含重复的单词，我想删除所有重复的单词（我也不想丢失句子的顺序）。

csv 文件示例（userID 和 description 是列名）：

userID, description

12, hello world hello world

13, I will keep the 2000 followers same I will keep the 2000 followers same

14, I paid $2000 to the car I paid $2000 to the car I paid $2000 to the car

.

.

我希望输出为：

userID, description

12, hello world 

13, I will keep the 2000 followers same

14, I paid $2000 to the car 

.

.

我已经尝试过诸如123 之类的帖子，但它们都没有解决我的问题，也没有改变任何东西。 （我的输出文件的顺序很重要，因为我不想丢失订单）。如果你能提供一个代码示例，我可以在我身边运行并学习，那就太好了。 谢谢

[我用的是python 3.7版本]

Answer 1

要删除重复项，我建议使用 OrderedDict 数据结构的解决方案：

df['Desired'] = (df['Current'].str.split()
                          .apply(lambda x: OrderedDict.fromkeys(x).keys())
                          .str.join(' '))

Answer 2

下面的代码对我有用：

a = pd.Series(["hello world hello world", 
               "I will keep the 2000 followers same I will keep the 2000 followers same",
               "I paid $2000 to the car I paid $2000 to the car I paid $2000 to the car"])
a.apply(lambda x: " ".join([w for i, w in enumerate(x.split()) if x.split().index(w) == i]))

基本上这个想法是，对于每个单词，只有当它的位置是列表中的第一个时才保留它（使用空格从字符串中分割出来）。这意味着，如果单词出现第二次（或更多次），.index() 函数将返回一个小于当前出现位置的索引，因此将被消除。

这会给你：

0                            hello world
1    I will keep the 2000 followers same
2                I paid $2000 to the car
dtype: object

Answer 3

解决方案取自here：

def principal_period(s):
    i = (s+s).find(s, 1)
    return s[:i]

df['description'].apply(principal_period)

输出：

0                                 hello world
1     I will keep the 2000 followers the same
2                     I paid $2000 to the car
Name: description, dtype: object

由于这在字符串上使用apply，它可能会很慢。

Answer 4

答案来自How can I tell if a string repeats itself in Python?

import pandas as pd
def principal_period(s):
    s+=' '
    i = (s + s).find(s, 1, -1)
    return None if i == -1 else s[:i]
df=pd.read_csv(r'path\to\filename_in.csv')
df['description'].apply(principal_period)
df.to_csv(r'output\path\filename_out.csv')

解释：

我在末尾添加了一个空格，以说明重复的字符串由空格分隔。然后，当字符串添加到自身时，它会查找第二个出现的字符串（减去第一个和最后一个字符以避免第一个匹配，当没有重复字符串时分别为最后一个）。这有效地找到了第二个出现的字符串开始的字符串位置，或者第一个最短的重复字符串结束的位置。然后返回这个重复的字符串。