朴素贝叶斯分类器是一种著名的分类算法。特别是在文本分类领域,我就拿来解释一下。
假设我们有一些训练文档{d1 , d2 , d3 , ... , dm},其中每个文档都可以由单词集合{w1,w2,w3, ... , wn} 表示
并且每个文档都属于一些预定义的类集(这里采用二进制大小写(c_0,c_1))
我们的任务是将一些新的输入文档 d 分类为 c_0 类或 c_1 类。
一种直观的方法是进行最大似然估计:
也就是说,
output c_0 if P(d | c_0) > P(d | c_1) and vice versa.
所以根据我们对 d 的定义,我们可以将标准写为
P(d | c_0) = P( {w1,w2,w3...,wn} | c_0)
因为计算这个给定类的联合概率是如此复杂。所以我们做了一个强有力的假设,即单词是相互独立的,取决于类。
所以这导致我们
P(d | c_0) = P({w1,w2,w3...,wn} | c_0) = P(w1|c_0)*P(w2|c_0)*P(w2|c_0)...*P(wn|c_0)
其中每个P(w | c) 都可以很容易地计算为 c 类中单词 w 的频率计数。
这个强大的假设是“Naive”这个名字的原因,因为我们只是天真地对每个单词进行级数乘法。
最终采用answer = argmax P(d | c_0) , P(d | c_1) 将结束此算法
我猜在您的领域中,您正在寻找的内容类似于文本分类,只是您需要提取的特征不同。