NLP：将带有标签的单词排列成正确的英文句子？

Question

假设我有一句话：

"you hello how are ?"

我得到以下输出：

you_PRP hello_VBP how_WRB are_VBP

将措辞安排成正确的英文句子的最佳方法是：Hello how are you ?

我是整个自然语言处理的新手，所以我不熟悉许多术语。 我能想到的唯一方法是 - 使用语句来确定： adverb - verb - noun 然后根据这些重新安排？

注意：假设我正在尝试形成正确的问题，因此请忽略确定它是问题还是陈述。

Answer 1

您应该查看language models。例如，二元语言模型将根据句子中的两个单词序列为您提供观察句子的概率。在文本语料库的基础上，它会了解到“how are”比“are how”发生的概率更高。如果你将一个句子中所有这些两个词序列的概率相乘，你就会得到这个句子的概率。

换句话说，你可以这样解决你的问题：

1. 查找语料库（简单的文本语料库，或已用词性标签标记的语料库）。
2. 从该语料库中学习语言模型。您可以简单地基于单词或基于单词及其词性标签来执行此操作，如您的示例所示。
3. 生成目标词的所有可能序列。
4. 使用语言模型计算所有这些序列的概率。
5. 选择概率最高的序列。

如果您使用 Python，nltk 有一个 api for training and using language models。否则，KenLM 是一个流行的语言建模包。