朴素贝叶斯是否应该将词汇表中的所有单词复数

Question

我在文本分类中使用朴素贝叶斯。

假设我的词汇是 ["apple","boy","cup"]，类别标签是“spam”或“ham”。每个文档将被覆盖到一个 3 维 0-1 向量。比如“apple boy apple apple”会被转换成[1,1,0]

现在我已经从训练示例中计算了条件概率 p("apple"|"spam")、p("apple"|"ham")、p("boy"|"spam")...等。

测试文档是垃圾邮件还是火腿，例如“apple boy” -> [1,1,0]， 我们需要计算 p(features | classLabel)

使用条件独立，用于测试向量 [1,1,0]

我知道这两个公式

(1) p(特征|"火腿") = p("苹果"|"火腿")p("男孩"|"火腿")

(2) p(特征|"火腿") = p("苹果"|"火腿")p("男孩"|"火腿")(1-p("杯子"|"火腿"))

哪个公式是正确的？

我相信 (2) 是正确的，因为我们有 3 个特征（实际上是词汇表中的 3 个单词）。但是我看到其他人使用（1）编写的代码。 虽然术语 1-p("cup"|"ham") 接近 1，所以不会有太大区别，但我想要确切的答案。

Answer 1

您的直觉是正确的，您编写的代码可能也是正确的。但是，您的问题在于符号。 （我需要承认，一开始很难理解它。）你缺少的最重要的概念是随机变量（RV）

我使用HAM、CUP、BOY 和HAM 作为随机变量。每个 RV 可以采取两种可能的事件contains(c) 或not contains (nc)。一个文本包含男孩的概率可以写成P(BOY=contains)，而它不包含这个词的概率是P(BOY=not contains)= 1-P(BOY=contains)

那么正确的公式是那么

P(FEATURES| HAM) =  P(CUP,BOY,APPLE|HAM) = P(CUP|HAM)P(BOY|HAM)P(APPLE|HAM)

最后一步是由于朴素 Bays 假设。 要计算您要求的概率，您需要计算

 P(BOY=c,APPLE=c,CUP=nc|HAM) = P(BOY=c|HAM)P(APPLE=c|HAM)P(CUP=nc|HAM) 
                             = P(BOY=c|HAM)P(APPLE=c|HAM)(1-P(CUP=c|HAM))

实际上这仍然是两个概率（总和不等于一个），因为HAM 可以占用两个值。