线性回归的梯度下降未找到最佳参数答案

【问题标题】：Gradient Descent for Linear Regression not finding optimal parameters线性回归的梯度下降未找到最佳参数
【发布时间】：2019-08-28 20:24:10
【问题描述】：

我正在尝试实现梯度下降算法，以按照从 Andrew Ng 的课程中拍摄的以下图片将一条直线拟合到噪声数据。

首先，我声明我想要拟合的嘈杂直线：

xrange =(-10:0.1:10); % data lenght
ydata  = 2*(xrange)+5; % data with gradient 2, intercept 5
plot(xrange,ydata); grid on;
noise  = (2*randn(1,length(xrange))); % generating noise 
target = ydata + noise; % adding noise to data
figure; scatter(xrange,target); grid on; hold on; % plot a sctter

然后我初始化两个参数，目标函数历史如下：

tita0 = 0 %intercept (randomised)
tita1 = 0 %gradient  (randomised)

% Initialize Objective Function History
J_history = zeros(num_iters, 1);

% Number of training examples
m = (length(xrange));

我继续写梯度下降算法：

for iter = 1:num_iters

    h = tita0 + tita1.*xrange; % building the estimated 

    %c = (1/(2*length(xrange)))*sum((h-target).^2)

    temp0 = tita0 - alpha*((1/m)*sum((h-target)));
    temp1 = tita1 - alpha*((1/m)*sum((h-target))).*xrange;
    tita0 = temp0;
    tita1 = temp1;

    J_history(iter) = (1/(2*m))*sum((h-target).^2); % Calculating cost from data to estimate

end

最后但同样重要的是，情节。我正在使用 MATLAB 的内置 polyfit 函数来测试我的拟合精度。

% print theta to screen
fprintf('Theta found by gradient descent: %f %f\n',tita0,  tita1(end));
fprintf('Minimum of objective function is %f \n',J_history(num_iters));

%Plot the linear fit
hold on; % keep previous plot visibledesg
plot(xrange, tita0+xrange*tita1(end), '-'); title(sprintf('Cost is %g',J_history(num_iters))); % plotting line on scatter

% Validate with polyfit fnc
poly_theta = polyfit(xrange,ydata,1);
plot(xrange, poly_theta(1)*xrange+poly_theta(2), 'y--');
legend('Training data', 'Linear regression','Linear regression with polyfit')
hold off

结果：

可以看出我的线性回归根本无法正常工作。似乎两个参数（y 截距和梯度）都没有收敛到最优解。

任何关于我在实施中可能做错的建议都将不胜感激。我似乎无法理解我的解决方案与上面显示的方程式有何不同。谢谢！

【问题讨论】：

你能画出 theta_0 和 theta_1 的演变过程以及成本吗？我不是 Matlab 程序员，但看到 thetas 的演变会让我们深入了解这个问题。

标签： algorithm matlab machine-learning gradient-descent

【解决方案1】：

您对 theta_1 的实现不正确。 Andrew Ng 的方程也对 x 求和。 theta_0 和 theta_1 的值是

temp0 = tita0 - alpha*((1/m)*sum((h-target)));
temp1 = tita1 - alpha*((1/m)*sum((h-target))).*xrange;

请注意 sum((h-target)) 出现在两个公式中。在求和之前，您需要先将 x 相乘。我不是 MatLab 程序员，所以我无法修复您的代码。

您在不正确的实现中所做的事情的总体情况是，您将截距和斜率的预测值推向同一方向，因为您的更改始终与 sum((h-target)) 成正比。这不是梯度下降的工作方式。

【讨论】：

【解决方案2】：

如下更改你的tita1更新规则：

temp1 = tita1 - alpha*((1/m)*sum((h-target).*xrange));

另外，另外一点是你并不真的需要临时变量。

通过设置

num_iters = 100000
alpha = 0.001

我可以恢复

octave:152> tita0
tita0 =  5.0824
octave:153> tita1
tita1 =  2.0085

【讨论】：