命令行的 OpenNLP POSTagger 输出

Question

我想使用OpenNLP 来标记泰语单词。我下载了 OpenNLP 和 Thai tokenize model 并运行以下内容

./bin/opennlp POSTagger -lang th -model thai.tok.bin < sentence.txt > output.txt

我将下载的thai.tok.bin 放在我调用的目录中并运行以下命令。 sentence.txt 在 กินอะไรยังนาย 中有此文本。但是，我得到的输出只有这些文本：

Usage: opennlp POSTagger model < sentences
Execution time: 0.000 seconds

我是OpenNLP 的新手，如果有人知道如何从中获取输出，请告诉我。

Answer 1

link 中的模型已过时。首先，您需要一些手动步骤来转换模型。

1. 下载文件thai.tok.bin.gz 并解压到一个空文件夹。将解压后的文件thai.tok.bin重命名为token.model

2. 在同一文件夹中，创建一个名为manifest.properties 的文件，内容如下：

   Manifest-Version=1.0.  
   Language=th  
   OpenNLP-Version=1.5.0  
   Component-Name=TokenizerME  
   useAlphaNumericOptimization=false  
   

3. 现在您可以压缩文件，如果您使用的是 Linux，则可以使用以下命令：zip thai.tok.bin token.model manifest.properties

4. 试试你的模型：

   sh bin/opennlp TokenizerME ~/Downloads/thai-token.bin/thai.tok.bin <  thai_sentence.txt
   
   
   
   Loading Tokenizer model ... done (0,097s)     
   กินอะไร ยังนาย     
   
   
   Average: 333,3 sent/s      
   Total: 1 sent     
   Runtime: 0.003s     
   Execution time: 0,108 seconds 
   

现在您拥有更新的标记器，您可以使用 POS Tagger 模型进行类似操作。

1. 下载文件thai.tag.bin.gz 并解压到一个空文件夹。将解压后的文件thai.tag.bin重命名为pos.model

2. 在同一文件夹中，创建一个名为manifest.properties 的文件，内容如下：

   Manifest-Version=1.0
   Language=th
   OpenNLP-Version=1.5.0
   Component-Name=POSTaggerME
   

3. 现在您可以压缩文件，如果您使用的是 Linux，则可以使用以下命令：zip thai.pos.bin pos.model manifest.properties

最后，我们可以试试这两种模型的结合：

sh bin/opennlp TokenizerME ~/Downloads/thai-token.bin/thai.tok.bin < thai_sentence.txt > thai_tokens.txt
sh bin/opennlp POSTagger ~/Downloads/pt-pos-maxent/thai.pos.bin < thai_tokens.txt

结果是：

กินอะไร_VACT ยังนาย_NCMN

请告诉我这是否是预期的结果。