贝叶斯岭回归和自动相关性确定回归之间的区别？

【问题标题】：Difference between Bayesian Ridge Regression and Automatic Relevance Determination Regression?贝叶斯岭回归和自动相关性确定回归之间的区别？
【发布时间】：2020-05-18 07:12:13
【问题描述】：

有人知道贝叶斯岭回归和 ARDR 有什么区别吗？更准确地说，这两个函数之间来自 sklearn：

linear_model.BayesianRidge()  
linear_model.ARDRegression()

当我查看背后的理论时，两者都使用 lambda 和权重，并且定义了 ARDRegression：Fit regression model with Bayesian Ridge Regression。

但我仍然不明白有什么区别，因为两个模型都使用权重和 lambda 来确定回归模型。有人可以更直观地解释一下吗？

【问题讨论】：

标签： machine-learning scikit-learn

【解决方案1】：

this page 有更多详细信息。具体来说：ARDR 提出了一个不同的先验 - 假设每个权重都有自己的标准偏差的椭圆高斯先验分布，而不是像 BRR 那样的球形高斯先验分布。

根据this paper，“通过对所有特征进行相同的正则化，当只有少数特征相关时，BRR 不太适合”。另一方面，“ARD 执行的正则化非常自适应，因为所有权重都以不同的方式进行正则化”。然而，它确实指出了 ARDR 的一些缺点，包括“当模型包含太多回归量时，它很容易出现欠拟合......并且还存在收敛问题”

【讨论】：