【发布时间】:2010-12-08 14:36:42
【问题描述】:
在自然语言处理中,分块的目的是什么?
【问题讨论】:
-
您还可以查看语音和语言处理 (cs.colorado.edu/~martin/slp.html) 的第 13 章(句法解析)第 5 节(部分解析)。
标签: computer-science nlp
在自然语言处理中,分块的目的是什么?
【问题讨论】:
标签: computer-science nlp
关于自然语言处理中的“文本分块”,请参阅here(您可能希望本系列中的所有讲座都作为一种“NLP 101”...):它跨越了一系列任务,例如查找名词组,找到动词组,并完成分割句子 -> 几种类型的块。我引用的 URL 的讲座更详细!
【讨论】:
将单词分组为句法相关的短语(块)。注意:IOB 标记可用于指示块边界。
【讨论】:
分块也称为浅解析,它基本上是识别词性和短语(如名词短语)。 Part of speech tagging 告诉您单词是名词、动词、形容词等,但它不会为您提供有关句子结构或句子中短语的任何线索。有时,拥有比词性更多的信息很有用,但您不需要从解析中获得的完整解析树。
Named Entity Recognition 是一个更可取的分块示例。在 NER 中,您的目标是找到命名实体,它们往往是名词短语(尽管并非总是如此),因此您想知道 President Barack Obama 在以下句子中: p>
总统巴拉克奥巴马批评保险公司和银行,因为他敦促支持者向国会施压,以支持他改革医疗保健系统和改革金融监管的举措。 (source)
但你不一定会在意他是句子的主语。
分块也相当普遍地用作其他任务的预处理步骤,例如基于示例的机器翻译、自然语言理解、语音生成等。
【讨论】: