在 Anaconda/NLTK 中找不到 Genia Tagger 文件错误

Question

我需要使用 NLTK 执行文本预处理任务，例如句子拆分、标记化和标记。我想使用GENIA 标记器进行标记。我正在使用 Anaconda 3.10 版并通过以下命令安装了 geniatagger。

python setup.py install

在IPython控制台中，下面我输入了如下代码。

import geniatagger
tagger =geniatagger.GeniaTagger('C:\Users\dell\Anaconda\geniatagger\geniatagger')
print tagger.parse('Welcome to natural language processing!')

按下 Enter 时出现以下错误消息。

---------------------------------------------------------------------------
WindowsError                              Traceback (most recent call last)
<ipython-input-2-52e4d65c2d02> in <module>()
----> 1 tagger = geniatagger.GeniaTagger('C:\Users\dell\Anaconda\geniatagger\geniatagger')
  2 print tagger.parse('Welcome to natural language processing!')
  3 

 C:\Users\dell\Anaconda\lib\site-packages\geniatagger_python-0.1-py2.7.egg\geniatagger.pyc in __init__(self, path_to_tagger)
 19         self._tagger = subprocess.Popen('./'+os.path.basename(path_to_tagger),
 20                                         cwd=self._dir_to_tagger,
 ---> 21                                         stdin=subprocess.PIPE, stdout=subprocess.PIPE)
 22 
 23     def parse(self, text):

 C:\Users\dell\Anaconda\lib\subprocess.pyc in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags)
708                                 p2cread, p2cwrite,
709                                 c2pread, c2pwrite,
--> 710                                 errread, errwrite)
711         except Exception:
712             # Preserve original exception in case os.close raises.

C:\Users\dell\Anaconda\lib\subprocess.pyc in _execute_child(self, args, executable, preexec_fn, close_fds, cwd, env, universal_newlines, startupinfo, creationflags, shell, to_close, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite)
956                                          env,
957                                          cwd,
--> 958                                          startupinfo)
959             except pywintypes.error, e:
960                 # Translate pywintypes.error to WindowsError, which is

WindowsError: [Error 2] The system cannot find the file specified

为什么我会收到此错误消息？我怎样才能解决这个问题？

如果我立即使用此标记，它是否也会执行标记化部分？

注意：geniatagger python 文件位于“geniatagger”文件夹中。

Answer 1

TL;DR：

# Install Genia Tagger (C code).
$ git clone https://github.com/saffsd/geniatagger && cd geniatagger && make && cd ..
# Install Genia Tagger (python wrapper)
$ git clone https://github.com/informationsea/geniatagger-python.git && cd geniatagger-python && sudo python setup.py install && cd ..
$ python
>>> from geniatagger import GeniaTagger
>>> tagger = GeniaTagger('./geniatagger/geniatagger')
>>> loading morphdic...done.
loading pos_models................done.
loading chunk_models....done.
loading named_entity_models..done.

>>> print tagger.parse('This is a pen.')
[('This', 'This', 'DT', 'B-NP', 'O'), ('is', 'be', 'VBZ', 'B-VP', 'O'), ('a', 'a', 'DT', 'B-NP', 'O'), ('pen', 'pen', 'NN', 'I-NP', 'O'), ('.', '.', '.', 'O', 'O')]

---

我不确定 Genia 标记器的软件包是否可以从 conda 开箱即用，所以我认为原生 python/pip 修复更简单。

首先，NLTK 中不支持 Genia Tagger（至少还没有 =)），因此 NLTK 安装/模块没有问题。

问题可能在于原始 GeniaTagger C 代码使用的一些过时的导入 (http://www.nactem.ac.uk/tsujii/GENIA/tagger/)。

所以要解决这个问题，你必须在原始代码中添加#include <cstdlib>，但幸运的是@saffsd 已经这样做了，并将它很好地放在他的 github 存储库中 (https://github.com/saffsd/geniatagger/blob/master/morph.cpp)

然后是安装 python 包装器，您可以：

• 从官方 pypi 安装：pip install https://pypi.python.org/packages/source/g/geniatagger-python/geniatagger-python-0.1.tar.gz

• 或使用其他一些 github repo 进行安装，例如https://github.com/informationsea/geniatagger-python 最先出现在谷歌搜索中

最后，python 中的GeniaTagger 初始化相当奇怪，因为它并没有真正采用标注器目录的路径，而是标注器本身，并假设模型文件与标注器位于同一目录中，请参阅https://github.com/informationsea/geniatagger-python/blob/master/geniatagger.py#L19 。

它可能期望在第一级目录路径中使用一些“./”，因此您必须将标记器初始化为GeniaTagger('./geniatagger/geniatagger')。

---

除了安装问题。如果使用GeniaTagger的python包装器，GeniaTagger对象中只有一个函数，即parse()，当你使用parse()时，它会为每个句子输出一个元组列表，输入是一个句子字符串.每个元组中的项目是：

• token（表面词）
• 引理（见Stemmers vs Lemmatizers）
• POS 标签（看起来像 Penn Treebank 标签集，参见What are all possible pos tags of NLTK?）
• 名词块（见Output results in conll format (POS-tagging, stanford pos tagger)）
• 命名实体块