如何转换具有相同重复字母的否定词和单个词

Question

我有一个数据框，其中有一列包含文本数据。我想删除没有意义的单词，并将文本数据中的“不是”等否定转换为“不是”。因为当我删除标点符号时，“isn't”变为“isn t”，当我删除字母小于长度 2 的单词时，“t”将被完全删除。所以，我想做以下3个任务- 1）将“不是”之类的否定转换为“不是” 2）删除无意义的词 3) 删除长度小于 2 的字母 例如，df 列看起来与此类似-

user_id     text data column
    1        it's the coldest day
    2        they aren't going
    3        aa
    4        how are you jkhf
    5        v
    6        ps
    7       jkhf

输出应该是-

user_id     text data column
    1        it is the coldest day
    2        they are not going
    3        
    4        how are you 
    5        
    6       
    7      

如何实现？

Answer 1

def is_repetitive(w):
    """Predicate, true for words like jj or aaaaa."""
    w = str(w)  # caller should have provided a single word as input
    return len(w) > 1 and all((c == w[0]  for c in w[1:]))

将语料库中的所有单词提供给该函数， 积累重复单词的列表。 然后将这些词添加到您的停用词列表中。

Answer 2

1) 使用 SpaCy 或 NLTK 的词形还原工具来转换字符串（尽管它们也会执行其他操作，例如将复数转换为单数 - 因此您可能最终需要编写自己的代码来执行此操作）。

2) 使用 NLTK 或 spacy 中的停用词来删除明显的停用词。或者，给他们提供你自己的停用词列表（他们的默认停用词是 is, a, the）。

3)使用基本过滤器，如果 len