使用词嵌入时如何处理 NLP 应用中的词汇外词？

Question

以下 NLP 应用程序使用词嵌入。但我不确定如果输入文本中的某个词在嵌入中不可用怎么办。有谁知道处理不在 NLP（或特别是 NER）嵌入中的单词的标准做法是什么？谢谢。

https://guillaumegenthial.github.io/sequence-tagging-with-tensorflow.html

Answer 1

一般来说，无论您的领域和模型如何，都可以保证出现一些 OOV 词。重要的是认识到这些对您的任务的影响并采取适当的措施：

1. 了解您的整个语料库中有多少 OOV 词，以及它们的频率是否足够高以保证除忽略它们之外的任何其他操作（在词级别或更高级别，例如跳过包含 OOV 词的句子）
2. 如果您的数据是特定领域的，并且您有一些重复的 OOV 词（例如技术术语、科学术语等），则 fastText (https://fasttext.cc/) 等工具将允许您快速训练本地嵌入。