【问题标题】:how does the graph of the gradient descent work梯度下降图是如何工作的
【发布时间】:2021-03-07 04:01:46
【问题描述】:

我在理解梯度下降时遇到了问题,例如,让我们采用一个具有 1 个特征的简单线性回归,其中在绘制回归线后计算误差 Ypred-Yact,然后为回归的每个斜率和截距计算成本函数线。现在这个成本函数是针对斜率和截距绘制的,以找到成本函数相对于斜率和截距的最小值。

为什么我们要绘制成本函数图然后找到最小值?

模型将计算不同斜率和截距的成本函数,所以我们不能在这里确定函数的最小值,而不是绘制图形然后找到梯度并更新斜率和截距

【问题讨论】:

    标签: python data-science linear-regression gradient-descent


    【解决方案1】:

    当您基于一个训练特征和一个目标特征制作模型时,您可以使用直接方程,例如 y=mx+c where,

    m = (n(Σxy)-(Σx)(Σy))/(n(Σx^2)-(Σx)^2)

    c = ((Σy)(Σx^2)-(Σx)(Σxy))/(n(Σx^2)-(Σx)^2)

    但是当有多个特征要训练以获得目标值时,您的方程看起来像 y=m1x1+m2x2+m3x3+....+c ,这是一个 n 维方程。

    在训练和目标特征之间找到线性关系的单个方程在这里不起作用。对于多个特征,我们需要一条 n 维线来拟合均方误差最小的位置,正如我们所说的找到成本函数的最小值。

    然后,关于绘制成本函数图,您使用的库代码不会绘制成本函数。您只需要维护矩阵并迭代即可收敛。

    为了更好地理解算法, click here click here

    【讨论】:

    • 你会在论文中发现 mse 值的用法,但在 scikit-learn 库中他们使用 rmse
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-06-13
    • 2014-10-26
    • 2016-09-25
    相关资源
    最近更新 更多