斯坦福 NER CRF 实施是否在训练阶段使用句子？

Question

我是 CRF 的新手，我的一些术语可能有偏差，所以请耐心等待。我假设斯坦福 NER 实现了线性链 CRF。

设 x 是单词序列，y 是对应标签的序列。将 x 称为示例，将 y 称为其标签。 x 的一个分量 x_i 是一个词。 y 的一个分量 y_i 是一个标签。

1. 在训练模型时，我们会为它提供如下内容：

   James    PERSON
   lives    O
   in       O
   Chicago  LOCATION
   .        O
   Coffee   O
   in       O
   Trieste  LOCATION
   is       O
   great    O
   .        O 
   

   模型是否使用单个句子作为示例？使用上面的数据是示例之一：？这是否意味着特征函数不能依赖于前面句子中的单词？

2. 如果确实如此，模型如何确保每个示例确实是一个句子？它是否进行任何句子边界检测？可以看一下吗？ 4个句子的批次？

提前谢谢你:)

Answer 1

两个换行符被认为是一个例子的边界。您的示例可以是从短语到整个文档的任何内容。所以对于你的例子，如果你想要两个句子作为两个例子：

詹姆斯人 生活O 在 O 芝加哥位置 . ○ 咖啡O 在 O 的里雅斯特 位置 是 O 伟大的O . ○