如何在文本生成中处理 <UKN> 标记答案

【问题标题】：How to handle <UKN> tokens in text generation如何在文本生成中处理 <UKN> 标记
【发布时间】：2019-01-25 13:51:48
【问题描述】：

按照大多数文本生成文献的建议，在我的文本生成数据集中，我已将所有不常见的词转换为标记（未知词）。

但是，在训练 RNN 以将句子的一部分作为输入并预测句子的其余部分时，我不确定应该如何阻止网络生成标记。当网络在训练集中遇到未知（不频繁）单词时，它的输出应该是什么？

示例：
造句：I went to the mall and bought a <ukn> and some groceries
网络输入：I went to the mall and bought a
当前网络输出：<unk> and some groceries
所需网络输出：??? and some groceries

应该输出什么而不是<unk>？

我不想构建一个生成器来输出它不知道的单词。

【问题讨论】：

标签： machine-learning neural-network nlp word2vec recurrent-neural-network

【解决方案1】：

RNN 将为您提供最有可能出现在文本中的标记样本。在您的代码中，您选择概率最高的令牌，在本例中为 «unk»。

在这种情况下，您可以省略 «ukn» 标记，而只需采用 RNN 根据其呈现的概率值建议的 下一个最有可能的标记。

【讨论】：

但是在 RNN 训练期间，我们是否应该期望 RNN 输出标记？我们会训练网络输出但在实际生成文本时丢弃这些标记，这似乎很奇怪。
如果没有更多关于您的用例的详细信息，很难说清楚。但是，要么你从保留未知数中获得价值（然后将它们用于训练和推理），要么不（在训练中跳过它们，在生成时不要担心）。我可以想象，如果您保留 «ukn» 并在推理过程中以有意义的方式替换它们，您的模型在语法上会更正确。但同样——只是一个假设。

【解决方案2】：

我偶尔见过<UNK>，但从未见过<UKN>。

在词嵌入训练中更常见的是完全删除稀有词，以保持词汇表紧凑，并避免在其他词的训练中使用没有足够示例的词作为“噪音”。（将它们全部折叠成一个神奇的未知标记 - 然后它变得比真正的标记更频繁！ - 只会倾向于将一个没有明确含义的大的不自然的伪词扔到其他单词的上下文中。 )

因此，我不确定将其描述为“大多数文本生成文献所建议的”是否准确。并且在可能的范围内，当预测是UNK 令牌时，是否有任何消息来源暗示这一点也建议做什么？

如果您的特定应用程序需要任何真正的已知单词，即使 NN 对正确单词是任何已知单词的信心不足，您似乎也只会阅读 next-best-non-<UKN> 预测来自 NN，正如 @petezurich's answer 所建议的那样。

【讨论】：

丢弃未知标记不会产生语法错误的句子吗？在示例中，您将获得 I went to the mall and bought a and some groceries。
是的，但至少对于 word2vec 风格的词向量来说，这并没有什么坏处。实际上，将稀有标记放在一些 min_count 出现以下，并随机丢弃一些过于频繁的标记（由许多库中的 sample 参数控制）通常有助于大多数典型应用程序的词向量质量，即使这样的步骤会产生非语法的训练输入。（生成实际合理的语法文本需要的不仅仅是单词共现驱动和语法遗忘的 word2vec，我怀疑在那里，基于词性的插入标记比通用 <UNK> 更有可能提供帮助。）
哦，我看到你的答案与学习词向量有关。我想在那种情况下排序并不那么重要，所以丢弃低信息词不会造成伤害？但对于散文建模，我认为你做不到。
它可能没有你想象的那么痛。但是，是的，如果您尝试对语法进行建模，您可能希望 (1) 使用基于推断词性的插入词（例如 <NOUN>、<ADJ> 等，或者如果可能更具体）；（2）根据一些外部同义词词典进行替换； (3) 完全从训练集中删除包含任何神秘词（或上述黑客不可能的词）的示例。