nltk pos标签脏话

Question

有没有办法使用 NLTK 显示给定文本中的填充词？ 如果没有，有人知道我在哪里可以得到一个带有英文填充词的 wordlist 吗？ 谢谢

已解决： 从 nltk.corpus 导入停用词

Answer 1

NLTK 本身并没有提供这样的列表，尽管很多都可以在 Web 的其他地方找到。

存在相当多的来源：网络搜索带有“profanity”“badwords.txt” 或 blacklists.txt 的单词列表会产生许多来源。

• noswearing.com 是一个起点。
• 像 Netnanny 和其他几个网站使用“审查列表”(this thread has a link)。下载一个并从那里开始。

就我们公司而言，我们最终创建了自己的列表并根据需要添加到其中。根据您的受众，必须对列表进行调整和调整。

最后，尽管 SO question 已关闭（以及关于 php），但我发现参考资料和讨论非常有用。

更新：您需要的是停用词列表。

1. 试试看：http://www.ranks.nl/resources/stopwords.html
2. MIT also maintains a list 的停用词。

希望对您有所帮助。