处理缩写的通用解决方案

Question

有问题？

给定输入语句：
Hello, Mr. Anderson.

默认的句子标记器（punkt 和 nltk 示例 pickle）将其转换为：
第一句：Hello, Mr
第二句：Anderson

当它真的应该保持原样时。

为什么很难找到现有的解决方案？

有没有通用的解决方案？这似乎是一个常见问题，甚至在 nltk python 教程书中也提到过。

Sentence segmentation is difficult because period is used to mark abbreviations, and some periods simultaneously mark an abbreviation and terminate a sentence, as often happens with acronyms like U.S.A.

然而，我见过的所有解决方案要么基于手动输入缩写，例如this one；要么或训练一个新的泡菜 - 因为我的搜索不会出现其他人训练过的搜索（句子边界消歧的第一条规则......）。

手动构建英文缩写列表是一项艰巨的任务；而且我还没有在 nltk 中找到任何关于此类列表的明确文档。

我目前的做法：我正在尝试编写一个网络爬虫来使用this 列表。我讨厌它。该列表远未完成，我真正希望的是扩展网络爬虫以组合几个这样的列表。然后，我将使用该列表来形成假设的缩写扩展，看看它们是否有意义……我在开玩笑吗？我可能会回去睡觉了。

Answer 1

您可以采取反动的、排他性的策略：任何至少有两个字母且不是合法单词的内容，后跟句点，必须是缩写。您的文本语料库会允许这样做吗？缺点是拼写错误、其他拼写错误、无故使用 SMS、俚语或其他未被“官方”认可的词语，以及缩写也是合法词语（例如“Ed. note”）的情况。

如果您想要一个全面的解决方案……那么，机器学习模型在您的应用程序中是否有用？喂它例子，让它学习“时代服装”中的哪些项目[是|不是]缩写，并将其合并到您选择的句子切片器中。