Mallet CRF SimpleTagger 短语/多词

Question

我是 Mallet 的新手，我正在尝试使用 mallet 简单标记器/CRF 并尝试使用短语 - 我尝试在 mallet 网站上查找文档并查看用户档案 - 没有任何帮助。

我尝试训练槌子进行简单标记，效果很好。这是我的数据的样子 （请注意训练之间有一个换行符表示它们是不同的集合）

样本训练数据：

where STOPWORD
is STOPWORD
chicago CITY
<---Newline---->
Sunnyvale CITY
<---Newline---->
Chicago CITY
<---Newline---->
Washington CITY
<---Newline---->
What STOPWORD
is STOPWORD
Sunnyvale CITY
time ASK
<---Newline---->
new STOPWORD
<---Newline---->    
place STOPWORD 

我遇到的问题是当城市名称是多个单词时，说

new york CITY

请注意，在上述训练数据中，“新”是一个停用词 问题

1. 对于简单标记器，上述表示是否正常？如果不是，我如何表示短语？
2. 如果不是如何表示数据，以便 SimpleTagger/CRF 可以使用前面的“n”个单词来到达标签？即我的输入的一种分块

Answer 1

据我所知，您用于多词表达的格式不正确。 根据here，输入的格式是feare1 feature2 feature3 ....

所以，在你的例子中，New 是 feature1，York 是 feature 2，等等。

我建议使用 New_York 将您的多词表达作为一个词。

同时，您应该注意到您不必在输入数据中包含单词本身。如果您这样做，它们将被视为第一个特征。因此，如果“单词文本”或“单词引理”对您来说不是一个有趣的功能，请将其从您的输入数据中剔除。