我想实现“错误概率和平均相关系数”的算法。 （更多信息Page 143。这是一种从特征集中选择未使用特征的算法。据我所知，该算法不限于布尔值特征，但我不知道如何将其用于连续特征。
这是我能找到的关于这个算法的唯一例子：
因此，X 是预测特征，C 是任意特征。为了计算 C 的错误概率值，他们选择与绿色部分不匹配的值。因此 C 的 PoE 为 (1-7/9) + (1-6/7) = 3/16 = 1875。
我的问题是：我们如何使用连续特征而不是布尔特征来计算 PoE？还是不可能？
【问题讨论】：
标签： r algorithm machine-learning feature-selection
您描述的算法是一种特征选择算法，类似于前向选择技术。在每一步，我们都会找到一个新的特征 Fi 来最小化这个标准：
weight_1 * ErrorProbability(Fi) + weight_2 * Acc(Fi)
ACC(Fi) 表示特征 Fi 与已选择的其他特征之间的平均相关性。您希望将其最小化，以使您的所有特征不相关，从而产生条件良好的问题。
ErrorProbability(Fi) 表示特征是否正确描述了您要预测的变量。例如，假设您想根据温度预测明天是否下雨（连续特征）
贝叶斯错误率为 (http://en.wikipedia.org/wiki/Bayes_error_rate)：
P = Sum_Ci { Integral_xeHi { P(x|Ci)*P(Ci) } }
在我们的例子中
词属于{雨;不下雨}
x 是温度的实例
Hi 表示会导致 Ci 预测的所有温度。
有趣的是你可以选择任何你喜欢的预测器。
现在，假设您在一个向量中包含所有温度，在另一个向量中包含所有状态下雨/不下雨：
为了获得 P(x|Rainy)，请考虑以下值：
temperaturesWhenRainy <- temperatures[which(state=='rainy')]
您接下来应该做的是绘制这些值的直方图。然后，您应该尝试在其上拟合分布。你将有一个 P(x|Rainy) 的参数公式。
如果你的分布是高斯分布，你可以简单地做到这一点：
m <- mean(temperaturesWhenRainy)
s <- sd(temperaturesWhenRainy)
给定一些 x 值，你有 P(x|Rainy) 的概率密度：
p <- dnorm(x, mean = m, sd = s)
您可以对 P(x|Not Rainy) 执行相同的过程。那么 P(Rainy) 和 P(Not Rainy) 很容易计算。
一旦你掌握了所有这些东西，你就可以使用贝叶斯错误率公式，它会产生连续特征的 ErrorProbability。
干杯
【讨论】：