在 word2vec 模型中测试时如何嵌入词汇单词？

Question

我在 100 000 的词汇量上训练我的 word2vec 模型（skip-gram）。但在测试时，我得到了一些不在词汇中的单词。为了找到他们的嵌入，我尝试了两种方法：

1. 计算词与词汇的最小编辑距离并获取其嵌入。

2. 从单词构造不同的 n-gram 并在词汇中搜索它们。

尽管应用了这些方法，我还是不能完全摆脱单词的问题。

word2vec 是否像 fastText 一样在训练时考虑一个单词的所有 n-gram？

注意 - 在 fastText 中，如果我们的输入词是 quora，那么它会考虑语料库中所有可能的 n-gram。

Answer 1

我认为在您的案例中，词汇表外的单词非常罕见。其中一种可能性是使用指定符号（或另一个非常罕见的词）的散列作为此类词汇表外词的标记。这需要对此类词进行预处理，但在实际应用中应该足够好。