分类中的熵

Question

我只是对熵有几个疑问。熵公式为 -summation(p(i|j) log2 p(i|j) 这是只有 2 个值的目标属性的公式。如果目标有超过 2 个等级值（比如高、中和低）怎么办？公式将如何受到影响？ 那将会， -求和（p（i|j）log3 p（i|j））？

另一个问题： 如何计算没有任何偏差的随机基线分类器的准确性？ 说我的问题是：

 1)class1=50% and class2=50%
 2)class1=40% and class2=60%
 3)class1=10%,class2=20% and class3=70%

你能帮我解决这两个问题吗？

Answer 1

不，对数的通常选择仍然以 2 为底，“位”。

但实际上，对数的基数只是一个常数，在大多数情况下会抵消掉或者是一个无关紧要的全局缩放常数。