word2vec 中的 skip-gram 模型是 N-Gram 模型的扩展版本吗？跳过克与跳过克？

Question

word2vec 的 skip-gram 模型使用浅层神经网络来学习带有（输入词、上下文词）数据的词嵌入。当我阅读skip-gram模型的教程时，没有任何关于N-gram的提及。然而，我遇到了几个在线讨论，其中有人声称 --- word2vec 中的 skip-gram 模型是 N-Gram 模型的扩展版本。我也不太理解以下维基百科页面中的“k-skip-n-gram”。

Wikipedia 引用了 1992 年关于“skip-grams”的论文，所以我猜这不是 word2vec 的 skip-gram 模型，对吧？关于这个“skip-grams”的另一篇论文是https://homepages.inf.ed.ac.uk/ballison/pdf/lrec_skipgrams.pdf。这非常令人困惑。为什么没有人澄清这一点。

维基百科来源及网上讨论如下：

• https://en.wikipedia.org/wiki/N-gram#Skip-gram

• https://www.quora.com/What-are-the-continuous-bag-of-words-and-skip-gram-architectures

• https://www.quora.com/What-is-a-skip-gram-model-Why-is-it-better-than-other-language-models-And-how-does-it-work

Answer 1

我同意这里的命名有些棘手。 你可以在这里查看教程。

https://www.kdnuggets.com/2018/04/implementing-deep-learning-methods-feature-engineering-text-data-skip-gram.html

因此，在 word2vec 中，在其最简单的 skip-gram 变体中，我们可以将整个语料库呈现为由目标词和我们想要用我们的神经网络预测的输出词组成的多对。 所以我们的word2vec模型的window-4句子“the quick brown fox jumps over the lazy dog”和单词“brown”可以表示为： (target_word, word_to_predict) （棕色，快速） （棕色的） （棕色，狐狸） （棕色，跳跃） 然后我们转到下一个单词“狐狸”，依此类推。 因此，我们使用 skip-grams 来训练我们的神经网络。我以前没见过“k-skip-n-gram”，但据我了解，我们得到了 4-skip-bigrams