如何避免从大写的文本标题中提取非专有名词？

Question

我正在尝试使用nltk 和Stanford NLP 工具从一段文本中提取关键字。运行代码后，我可以得到这样的列表

companyA
companyB
companyC
Trend Analysis For companyA

这一切都很好，但请注意最后一项。这实际上是出现在文本中的标题。由于标题的所有单词都是大写的，我的程序认为这些都是专有名词，因此将它们组合在一起，就好像它们是一个大公司名称一样。

好消息是，只要文中某处提到了一家公司，我的程序就会选择它，因此我也会得到像 companyA 这样的单个项目。这些来自关于该公司的实际文本。

这就是我想做的。

在我上面得到的列表中，有没有办法查看一个项目并确定任何以前的项目是否是当前项目的子字符串？比如这种情况当我遇到

Trend Analysis For companyA

我可以检查我以前是否看过这部分内容。所以我可以确定我已经拥有companyA，因此我将忽略Trend Analysis For companyA。 我相信本文会提到任何公司，足以让 StanfordNER 接受它。因此我不必依赖标题来获得我需要的东西。

这有意义吗？这是正确的方法吗？恐怕这不会很有效，但我想不出别的。

编辑

这是我使用的代码

sentences = nltk.sent_tokenize(document) 
sentences = [nltk.word_tokenize(sent) for sent in sentences] 
sentences = [nltk.pos_tag(sent) for sent in sentences] 

之后我只是在每个句子上使用StanfordNERTagger

result = []
stn = StanfordNERTagger('english.all.3class.distsim.crf.ser.gz') 
for s in sentences:
    taggedwords = stn.tag(s)
    for tag, chunk in groupby(taggedWords, lambda x:x[1]):

        if tag == "ORGANIZATION":

            result.append((tag, " ".join(w for w, t in chunk)))

return result

这样我可以得到所有的ORGANIZATIONs。

@Alvas 关于 Truecasing 的观点，你不觉得这有点矫枉过正吗？当我研究算法时，在我看来，他们试图为每个单词想出最有可能的拼写。可能性将基于语料库。我不认为我需要建立一个语料库，因为我可以使用像wordnet 或类似pyenchant 这样的字典来找出适当的拼写。另外，在这里我已经有了我需要的所有信息，即我正在挑选所有提到的公司。

还有一个问题。考虑公司名称

American Eagle Outfitters

注意American 和american 都是正确的拼写。 Eagle 和 eagle 的类似物。恐怕即使我在我的算法中使用 Truecasing，它最终也会小写不应该小写的术语。

再次，我现在的问题是我提取了所有公司名称，但我也在提取标题。蛮力方式是对结果列表执行子字符串检查。我只是想知道是否有更有效的方法来做到这一点。此外，我认为我所做的任何调整都不会改善标记。我不认为我能超越StanfordNERTagger

Answer 1

我确实遇到了类似的问题，但整个文本没有大写（ASR 输出）。在那种情况下，我确实在未大写的注释数据上重新训练 NER 模型以获得更好的性能。

按照偏好（和复杂性）的顺序，我会考虑以下几个选项：

• Uncapitalize text：在标记化/句子拆分之后，尝试猜测哪些句子都是大写的，并使用基于字典的方法来取消大写明确的标记（这可能被视为序列标记问题，并且可能涉及机器学习...但是可以很容易地为这个问题生成数据）。
• 学习具有大写特征的模型您可以在机器学习中添加一个特征来重建 POS 和 NER 模型，但这需要有语料库来重新训练模型。
• 后处理数据 鉴于标记容易出错，您可以应用一些后处理，这可能会考虑到先前发现的具有子字符串匹配的实体。但是这个过程会很危险，因为如果你找到“America”和“Bank Of America”，更正可能无法知道“Bank Of America”实际上是一个实体。

我个人会考虑第一个选项，因为您可以轻松地人工创建全大写语料库（从正确大写的文本）并训练序列标注器模型（例如 CRF）模型来检测应该删除大写字母的位置。

无论您使用哪种方法，您确实永远不会获得与正确大写的 texte 一样好的性能。您的输入可被视为部分嘈杂，因为 POS 标记和 NER 都缺少线索。