NLTK 中用于解析的英语语法

Question

是否有可以直接加载并在 NLTK 中使用的即用型英语语法？我搜索了使用 NLTK 进行解析的示例，但似乎我必须在解析句子之前手动指定语法。

非常感谢！

Answer 1

你可以看看pyStatParser，一个简单的python统计解析器，它返回NLTK解析树。它带有公共树库，并且仅在您第一次实例化 Parser 对象时（大约 8 秒）生成语法模型。它使用 CKY 算法，可以在一秒钟内解析平均长度的句子（如下所示）。

>>> from stat_parser import Parser
>>> parser = Parser()
>>> print parser.parse("How can the net amount of entropy of the universe be massively decreased?")
(SBARQ
  (WHADVP (WRB how))
  (SQ
    (MD can)
    (NP
      (NP (DT the) (JJ net) (NN amount))
      (PP
        (IN of)
        (NP
          (NP (NNS entropy))
          (PP (IN of) (NP (DT the) (NN universe))))))
    (VP (VB be) (ADJP (RB massively) (VBN decreased))))
  (. ?))

Answer 2

我的库 spaCy 提供了一个高性能的依赖解析器。

安装：

pip install spacy
python -m spacy.en.download all

用法：

from spacy.en import English
nlp = English()
doc = nlp(u'A whole document.\nNo preprocessing require.   Robust to arbitrary formating.')
for sent in doc:
    for token in sent:
        if token.is_alpha:
            print token.orth_, token.tag_, token.head.lemma_

Choi et al. (2015) 发现 spaCy 是可用的最快的依赖解析器。它在一个线程上每秒处理超过 13,000 个句子。在标准的 WSJ 评估中，它的得分为 92.7%，比任何 CoreNLP 模型的准确率都高出 1% 以上。

Answer 3

nltk_data 发行版中有一些语法。在您的 Python 解释器中，发出 nltk.download()。

Answer 4

有一个名为Pattern 的库。它非常快速且易于使用。

>>> from pattern.en import parse
>>>  
>>> s = 'The mobile web is more important than mobile apps.'
>>> s = parse(s, relations=True, lemmata=True)
>>> print s

'The/DT/B-NP/O/NP-SBJ-1/the mobile/JJ/I-NP/O/NP-SBJ-1/mobile' ... 

Answer 5

使用 MaltParser，你有一个预训练的英语语法，还有一些其他预训练的语言。 而且 Maltparser 是一个依赖解析器，而不是一些简单的自下而上或自上而下的解析器。

只需从 http://www.maltparser.org/index.html 下载 MaltParser 并像这样使用 NLTK：

import nltk
parser = nltk.parse.malt.MaltParser()

Answer 6

我尝试过 NLTK、PyStatParser、Pattern。恕我直言，Pattern 是上面文章中介绍的最好的英文解析器。因为它支持 pip install 并且网站上有一个花哨的文档（http://www.clips.ua.ac.be/pages/pattern-en）。我找不到合理的 NLTK 文档（默认情况下它给了我不准确的结果。而且我找不到如何调整它）。 pyStatParser 在我的环境中比上面描述的要慢得多。 （初始化大约一分钟，解析长句子需要几秒钟。也许我没有正确使用它）。

Answer 7

您是否尝试过在 NLTK 中进行 POS 标记？

text = word_tokenize("And now for something completely different")
nltk.pos_tag(text)

答案是这样的

[('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'),('completely', 'RB'), ('different', 'JJ')]

从这里得到这个例子NLTK_chapter03

Answer 8

我发现 nltk 与斯坦福开发的解析器语法配合得很好。

Syntax Parsing with Stanford CoreNLP and NLTK

使用 Stanford CoreNLP 和 NLTK 非常容易上手。您只需要做一些小准备，然后您就可以使用以下代码解析句子：

from nltk.parse.corenlp import CoreNLPParser
parser = CoreNLPParser()
parse = next(parser.raw_parse("I put the book in the box on the table."))

准备工作：

1. 下载Java Stanford model
2. 运行 CoreNLPServer

您可以使用以下代码运行 CoreNLPServer：

import os
from nltk.parse.corenlp import CoreNLPServer
# The server needs to know the location of the following files:
#   - stanford-corenlp-X.X.X.jar
#   - stanford-corenlp-X.X.X-models.jar
STANFORD = os.path.join("models", "stanford-corenlp-full-2018-02-27")
# Create the server
server = CoreNLPServer(
   os.path.join(STANFORD, "stanford-corenlp-3.9.1.jar"),
   os.path.join(STANFORD, "stanford-corenlp-3.9.1-models.jar"),    
)
# Start the server in the background
server.start()

不要忘记通过执行 server.stop() 来停止服务器