词中关系的分类？答案

【问题标题】：Classification of relationships in words?词中关系的分类？
【发布时间】：2011-01-25 01:30:19
【问题描述】：

我不确定用于单词关系分类的最佳算法是什么。例如，在“The yellow sun”这样的句子中，黄色和太阳之间存在关系。到目前为止，我考虑过的机器学习技术是贝叶斯统计、粗糙集、模糊逻辑、隐马尔可夫模型和人工神经网络。

有什么建议吗？

谢谢你:)

【问题讨论】：

啊，是的，你说得有道理。我正在写一篇关于 NLP 技术的论文。

标签： machine-learning nlp linguistics

【解决方案1】：

Stanford Parser 完全符合您的要求。甚至还有一个online demo。这是您的示例的结果。

Your sentence
The yellow sun.

Tagging
The/DT yellow/JJ sun/NN ./.

Parse
(ROOT
  (NP (DT The) (JJ yellow) (NN sun) (. .)))

Typed dependencies
det(sun-3, The-1)
amod(sun-3, yellow-2)

Typed dependencies, collapsed
det(sun-3, The-1)
amod(sun-3, yellow-2)

从您的问题来看，您似乎对类型化的依赖项感兴趣。

【讨论】：

【解决方案2】：

就像用户 dmcer 指出的那样，依赖解析器会帮助你。你可以阅读大量关于依赖解析的文献。 This book 和these lecture notes 是介绍常规方法的良好起点。

Link Grammar Parser 有点像依赖解析，它使用 Sleator 和 Temperley 的 Link Grammar 语法来生成词-词链接。您可以找到有关original Link Grammar page 和更新的Abiword page 的更多信息（Abiword 现在维护实施）。

有关依赖项解析的非常规方法，您可以阅读 this paper，它模拟了类似于化学/物理学中亚原子粒子相互作用的词-词关系。

【讨论】：

【解决方案3】：

听起来您正在寻找一个依赖解析器。这样的解析器将为您提供句子中任何单词与其语义或句法头之间的关系。

MSTParser 使用称为MIRA 的在线最大边距技术对单词之间的关系进行分类。 MaltParser 包的作用相同，但使用 SVM 做出解析决策。这两个系统都是可训练的，并提供相似的分类和附着性能，请参见表 1 here。

【讨论】：

我会添加斯坦福解析器，它可以进行正常的短语结构解析，但也会输出依赖解析。好用、开源、java、快等。
@ealdent：Stanford Dependencies 的一大优势是它们专注于直接捕获语义上有意义的关系。但是，如果速度是一个大问题，Stanford Parser 实际上并没有那么快。我在上面链接的摘要（即，请参见此处的表 1）讨论了使用 MST、Malt 和 Charniak 等其他解析器生成斯坦福依赖关系的更快方法。

【解决方案4】：

嗯，没有人知道语言处理的最佳算法是什么，因为它还没有被解决。能够理解人类语言就是创造一个完整的人工智能。

但是，当然，有人尝试处理自然语言，这些可能是这类事情的良好起点：

X-Bar Theory

Phrase Structure Rules

Noam Chomsky 在自然语言处理方面做了很多工作，所以我建议您查阅他的一些工作。

【讨论】：

好吧，乔姆斯基在计算理论方面做过一些事情，尤其是对语言类型（常规、无上下文等）进行分类，他在 60 年代彻底改变了 NLP，我真的不推荐他作为这项任务的起点。主要是因为它太过分了，而且还因为将乔姆斯基的转换语法翻译成自动解析器非常困难。依赖解析器可能是这里的方法。