【发布时间】：2020-02-12 22:48:06
【问题描述】：
假设我们有两个目标词用于相同的上下文：
he is a VERY GOOD BOY.This is a VERY GOOD HAND-WRITING.
这里的VERY AND GOOD 是上下文，而BOY 和HAND-WRITING 是两个目标。
谁能解释一下怎么做？
【问题讨论】：
标签： machine-learning deep-learning nlp artificial-intelligence
【发布时间】：2020-02-12 22:48:06
【问题描述】：
这是一个极端情况，不应该发生在正常的语料库中。
在 CBOW 模型中，权重的初始化和训练过程决定了最终的结果，训练过程取决于目标的上下文。
假设BOY 和HAND-WRITING 使用相同的初始权重，并且它们在3-gram 中的上下文完全相等，则可以将它们视为同一个目标。
如果他们有不同的初始权重，训练后你会得到两个相似的词表示，也就是说它们是同义词。这就是 CBOW 想要的：具有相似上下文的单词将具有相似的语义。
【讨论】：