生成语言模型在自然语言处理中是如何工作的？

Question

AFAIK，生成语言模型只不过是某些词汇的概率分布。我想知道如何使用这种概率分布来生成单词流，即语言？

如果我总是选择概率最大的词，它总是同一个词，因为分布是固定的。

我不确定我是否理解正确。谁能提供一个具体的操作示例？

Answer 1

首先，你不要选择概率最高的词。您选择一个随机词，但不是统一的 - 与模型中的概率。

所以，如果模型中有 2 个词：“是”和“否”，概率分布为 2/3“是”，1/3“否”，那么生成的文本可能如下所示：

yes no no yes yes no yes yes yes no yes yes yes

也就是说，文本中大约有 2/3 的“是”和 1/3 的“否”。

编辑

这是从分布中抽样的一种简单方法：

1. 生成一个从 0 到 1 的随机数。
2. 遍历模型中的所有单词，将它们的概率权重相加。只要总和大于生成的数字，就发出当前单词。

这是一个例子：

假设您生成了0.8。你从yes开始，累积的概率权重是0.67，所以你取下一个词no，得到的累积权重1.0大于0.8，所以你发出no。

假设下次你有0.5，那么你需要发出yes。