如何使用 python 或 Nltk 纠正俚语？

Question

我有一些从网上得到的文字，但人们用简短的形式写出来，比如 uni 代表大学，awsm 代表真棒等，但我可以猜出这些单词的列表。但是如何用 Python 纠正它们呢？我尝试了以下方法，但没有成功。

APPOSTOPHES= {"'s": "is", "'re":"are"}    
s= " i luv my iphone, you're awsm apple. DisplayisAwesome, Sooooo happppppy"
words = s.split()
rfrm=[APPOSTOPHES[word] if word in APPOSTOPHES else word for word in words]
rfrm= " ".join(rfrm)
print(rfrm)

i luv my iphone, you're awsm apple. DisplayisAwesome, Sooooo happppppy

但它会打印相同的句子。它没有改变任何东西。

Answer 1

您的代码出现了一些问题，首先是您在 APPOSTOPHES[word] 检查中没有匹配任何候选替换。

我将代码分解成非常清晰的块，并在您的APPOSTROPHES 字典中进行了小修正——注意现在值中的空格。其余描述在代码 cmets 中：

APPOSTOPHES= {"'s": " is", "'re":" are"}    
test_string = " i luv my iphone, you're awsm apple. DisplayisAwesome, Sooooo happppppy"

# split the words based on whitespace
sentence_list = test_string.split()

# make a place where we can build our new sentence
new_sentence = []

# look through each word 
for word in sentence_list:
    # look for each candidate
    for candidate_replacement in APPOSTOPHES:
        # if our candidate is there in the word
        if candidate_replacement in word:
            # replace it 
            word = word.replace(candidate_replacement, APPOSTOPHES[candidate_replacement])

    # and pop it onto a new list 
    new_sentence.append(word)

rfrm = " ".join(new_sentence)
print(rfrm)
# i luv my iphone, you are awsm apple. DisplayisAwesome, Sooooo happppppy

编辑：正如 Alexis 的评论所指出的，如果您尝试对所有内容应用相同的模式，那么单词/收缩替换将导致麻烦。我采用这种方法是因为您的变量名称接近于“撇号”一词——这就是我们正在改变的。他建议使用 nltk tokenize 方法是一个很好的建议；如果您打算将您的方法基于库，那么一定要学习它的首选方法。

我的回答旨在帮助您克服眼前的障碍，并向您展示为什么您会得到相同的句子字符串作为响应。

Answer 2

您的代码没有替换任何内容，因为您匹配的是完整的单词，但是 're 写在前一个单词的后面。如果你破解了一个撇号的解决方案，你很快就会发现你的代码在标点符号附近的单词上也失败了。例如，... luv, susan."

由于您标记了此 nltk，因此只需使用 nltk 的标记器而不是 split()：

>>> s = " i luv my iphone, you're awsm apple. DisplayisAwesome, Sooooo happppppy"
>>> nltk.word_tokenize(s)
['i', 'luv', 'my', 'iphone', ',', 'you', "'re", 'awsm', 'apple', '.', 'DisplayisAwesome', ',', 'Sooooo', 'happppppy']

现在 're 是一个完整的令牌，您的代码将按预期工作。 （它还会将 John's dog 更改为 John is dog，但这是您的方法所固有的）。

顺便提一下，is 和 are 不是“俚语”。它用于各种文本。