如何从依赖解析树计算置信度分数？

Question

有没有什么方法可以使用 ntlk 或其他方法从句子的依赖解析树中获得置信度分数或任何分数？

任何意见和建议将不胜感激！

Answer 1

这是一项艰巨的任务，我不知道有什么工具可以做到这一点，但是如果您可能在语料库邮件列表或 reddit 的语言技术部分发布了一些内容，您会得到更好的回复。但如果是一个研究问题，我建议在 penntreebank 数据集上训练 PCFG，然后使用它来计算分配给句子的解析树的概率。您可以获取Mark Johnson's 实现。搜索此行：

cky.tbz 包含一个非常快速的 CKY PCFG 解析器的 C 实现， 以及用于从树库等中提取 PCFG 的程序。 在我 1999 年的 CL 文章中使用过。 （最后更新于 2006 年 3 月 6 日）

CYK (viterbi) 是一种动态规划算法。 PCFG 代表概率 CFG，您通常使用 penntreebank 数据集进行训练。一个句子的所有可能解析树的概率的总和可以解释为该句子在语法上的正确程度。抱歉，如果这不是实际答案，但这是一个可行的答案，如果您决定这样做，我可以告诉您更多详细信息:)。