使用 Keras 和 Python 创建 NER 模型

Question

我已经制作了检测字符串值是地址、公司还是日期的 Keras 模型。我只使用了不同的公司名称、不同的日期共振峰和不同的街道地址进行培训。 所以我数据集中的每一行都有 1 到 5 个单词（有些单词可以是数字）。

对于预处理，我使用了矢量化器：

transformerVectoriser = ColumnTransformer(transformers=[('vector char', CountVectorizer(analyzer='char', ngram_range=(3, 6), max_features = 2000), 'text'),
                                                        ('vector word', CountVectorizer(analyzer='word', ngram_range=(1, 1), max_features = 4000), 'text')],
                                          remainder='passthrough') # Default is to drop untransformed columns


features = transformerVectoriser.fit_transform(features)

这是我的模型：

model = Sequential()
model.add(Dense(100, input_dim = features.shape[1], activation = 'relu')) # input layer requires input_dim param
model.add(Dense(200, activation = 'relu'))
model.add(Dense(100, activation = 'relu'))
model.add(Dense(50, activation = 'relu'))
model.add(Dropout(0.5))
model.add(Dense(3, activation='softmax'))

我已经达到了 93% 的准确率。 是否可以使用该模型来检测较大文本中的字符串（地址、公司或日期）在哪里？我认为这种模型称为NER模型（命名实体识别）。

我的模型接受字符串输入并决定它是公司、个人还是地址。 字符串输入长度为 1-5 个字。

例如，如果我有文字：

text = "What do you think about Amazon and their customer policy?"

如何检测“Amazon”的开始索引和结束索引，或者如何从该文本中仅提取 Amazon？ 所以要求的结果应该是：

start_index = 21
end_index = 27

或者：

result = {'company':'Amazon'}

或者例如如果输入是：

"My name is Don John and I work in Amazon Inc."

因此我想要：{"company": "Amazon Inc", "name": "Don John"}

我想使用我的模型从文本中提取特定实体，在本例中为公司、地址或日期。 基本上我需要某种基于 Keras 模型的location search，或者在大文本中搜索模式。

Answer 1

你可以有两种方式：

1. 使用您当前的型号。将您的长文本分成 3-5 个单词的块（可能有 1-2 个单词重叠），然后在每个块上运行您的分类器。当您将窗口移到文本上时，您将获得指示当前块是否包含您正在搜索的实体。这样，您将能够重建触发实体分类器的单词的索引。
2. 训练你自己的NER。然后对于每个（子）单词，您将获得一个分类。这相对容易。使用 Huggingface 的 transformers 库。您可以将您的代码基于this post（他们训练土耳其语NER）。如果您无法访问 GPU，则可以免费使用 Google Colab。如果运行 Transformer 模型对您来说计算成本太高，您可以尝试使用 CRF 模型。它将提供稍低的性能，但应该更快。参考this example。

要使用 BERT 训练您自己的 NER，您需要一个带标签的数据集。通常它是一组句子，其中每个单词都被标记（例如 ORG、PERSON 等）然后你标记你的句子 - 将文本转换为（子）单词。 Huggingface 库中也提供了分词器。

然后您在数据集上微调 BERT。这个过程被称为微调，因为 BERT 模型是对大量数据进行预训练的，并且您只针对您的任务对其进行调整。否则，这是一个常规的监督训练过程：您向模型显示一系列标记及其标签，并尝试最小化整体误差。因此，每个令牌都会获得一些标签。

在 BERT 模型系列的上下文中，NER 被视为令牌分类任务（与文本序列分类和范围检测相反）。通常基于 BERT 的 NER 表现非常好。这里还有一个post 在这个过程中。