自然语言处理中的分块器是什么？

【问题标题】：What is a chunker in Natural Language Processing?自然语言处理中的分块器是什么？
【发布时间】：2011-06-13 01:52:18
【问题描述】：

有谁知道在文本处理的上下文中什么是分块器以及它的用途是什么？

【问题讨论】：

【解决方案1】：

我个人并不反对其他答案，但Jurafsky and Martin 给出的定义略有不同。对他们来说，分块就是一种没有递归短语的浅层解析。

他们给出的一个例子是短语“从丹佛起飞”。不会由分块器生成的解析是“[NP the flight [PP from [NP Denver]]]”，因为它暗示了具有 NP 递归性的语法。

【讨论】：

【解决方案2】：

这是一种非常简单的解析类型，称为shallow parsing。 OpenNLP 项目有一个可用的分块器模块，您可以查看它的documentation 以获取分块操作的示例

【讨论】：

【解决方案3】：

根据these slides，分块是解析的替代方法，它提供句子的部分句法结构，具有有限的树深度，而不是完全解析。

它比完全解析更受限制，但在提取或忽略信息时就足够了，因此被多次使用，因为它比解析更快、更健壮。

幻灯片中提供了更多信息。

更多链接：

【讨论】：