如何自动查找与给定列表中相似的句子？

Question

我有一个让我们说“禁止句子”的列表（其中 1000 个，每个大约 40 个单词）。我想创建一个工具，可以在给定的文档中找到并标记它们。

问题在于，在这样的文档中，这个被禁止的句子可以用不同的方式表达，而不是在这个列表中保持相同的意思，但通过使用同义词、或多或少的几个词、不同的词序、标点符号、语法等来改变。这一切都是波兰语的事实并没有使每个名词、代词和形容词总共有 14 个格加上修饰词和进一步改变单词的性别变得更容易。我也在考虑让找到的句子按照它们被禁止的概率排列，其中一些显示不太相似。

我学了两年 IT，但对 NLP 了解不多。你认为这可以由业余爱好者完成吗？你能给我一些建议，从哪里开始，最好用什么工具把它们放在一起？不需要花哨，只要实用。我希望能找到一些现成的代码，因为我想这是以前制作的。任何想法在哪里可以找到此类资源或在搜索时使用哪些关键字？非常感谢一些帮助，因为我对此很陌生，需要从基础开始。

提前致谢，

卡米拉

Answer 1

可能最简单的第一次尝试是使用波兰语 SpaCy，它是流行的生产就绪 NLP 库的扩展，以支持波兰语。

http://spacypl.sigmoidal.io/#home

你可以尝试这样做：

• 将文档拆分为句子。
• 用 spacy 清理这些句子（删除停用词、标点符号、进行词形还原 - 它将帮助您处理同一个词的许多不同版本）
• 清除“禁止语句”
• 准备每个句子的向量表示 - 您可以使用 spaCy 方法
• 计算句子之间的相似度 - 余弦相似度
• 您可以设置阈值，如果文档的句子与“禁止句子”中的任何一个相似，它将被视为被禁止

如果有什么不清楚的地方告诉我。

祝你好运！