如何加载和使用使用 Mallet 训练的 CRF？答案

【问题标题】：How do I load and use a CRF trained with Mallet?如何加载和使用使用 Mallet 训练的 CRF？
【发布时间】：2014-04-26 16:12:50
【问题描述】：

我已经使用GenericAcrfTui 训练了一个 CRF，它将ACRF 写入文件。我不太确定如何加载和使用经过训练的 CRF，但是

import cc.mallet.grmm.learning.ACRF;
import cc.mallet.util.FileUtils;
ACRF c = (ACRF) FileUtils.readObject(Paths.get("acrf.ser.gz").toFile());

似乎有效。但是，标签似乎不正确，并且似乎依赖于我作为输入传递的标签。 如何使用已加载的 ACRF 进行标记？

我是这样标记的：

GenericAcrfData2TokenSequence instanceMaker = new GenericAcrfData2TokenSequence();
instanceMaker.setDataAlphabet(c.getInputAlphabet());
instanceMaker.setIncludeTokenText(true);
instanceMaker.setFeaturesIncludeToken(true);
instanceMaker.setLabelsAtEnd(false);
Pipe pipe = new SerialPipes(new Pipe[] {
        instanceMaker,
        new TokenSequence2FeatureVectorSequence(c.getInputAlphabet(),
                true, false),
});
InstanceList testing = new InstanceList(pipe);
Iterator<Instance> testSource = new LineGroupIterator(
    // initialize the labels to O
        new StringReader("O O ---- what W=the@1 W=hell@2\n"
                    + "O O ---- the W=what@-1 W=hell@1\n"
                    + "O O ---- hell W=what@-2 W=the@-1"),
        Pattern.compile("^\\s*$"), true);
testing.addThruPipe(testSource);
System.out.println(c.getBestLabels(testing.get(0)));

我通过查看GenericAcrfTui 得到了这一点。我尝试过的一些事情：

当我尝试给出不同的初始标签（“O”除外）时，结果标签发生了变化，但这无济于事，因为我无法猜测最初要给出什么标签，否则我不需要标注器。
我尝试完全不提供任何初始标签，但这只会导致异常，看来 Mallet 确实想要这些标签。

我注意到还有 SimpleTagger 可用于训练 CRF 但我认为使用它来标记新输入时我仍然会遇到同样的问题。

任何有关使用来自 SimpleTagger 或 GenericAcrfTui 的 CRF 进行标记的帮助都会有所帮助。

顺便说一句，我通常使用 CRF++，但对于这项任务，我想构建自己的图表，因为我正在使用依赖项解析功能。

【问题讨论】：

标签： java mallet crf

【解决方案1】：

我想通了！

问题是管道不知道目标字母表。解决方案是使用 CRF 的 Pipe，如下所示：

Pipe pipe = crf.getInputPipe();

而不是疯狂地制作我自己的Pipe。

现在，如果有人知道使用查询创建新 Instance 的更好方法，那也很好，我只是复制了培训师的做法。

【讨论】：