Python中梯度下降算法的等高线图答案

【问题标题】：Contour Plot of the Gradient Descent Algorithm in PythonPython中梯度下降算法的等高线图
【发布时间】：2020-03-22 00:42:25
【问题描述】：

我正在尝试将梯度下降应用于简单的线性回归模型，在绘制 2D 图时，我得到了预期的结果，但是当我切换到等高线图时，我不是预期的图，我想知道在哪里我的错误是。

代码如下：

def J(b_0, b_1, x, y):
  return (1/len(y))*(y - b_0 - b_1*x)**2

def dJ_1(b_0, b_1, x, y):
  return (2/len(y))*np.sum(x*(b_1*x + b_0 - y))

def dJ_0(b_0, b_1, x, y):
  return (2/100)*np.sum((b_1*x + b_0 - y))

x = np.linspace(-1, 1, 100)
y = np.linspace(-2, 2, 100)

b_0 = 5
b_1 = 5
parameters_0 = [b_0]
parameters_1 = [b_1]
for i in range(99):
  b_1 -= 0.1*dJ_1(b_0, b_1, x, y)
  b_0 -= 0.1*dJ_0(b_0, b_1, x, y)
  parameters_0.append(b_0)
  parameters_1.append(b_1)

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-2, 7, 100), J(np.linspace(-2, 7, 100), parameters_1[-1], -1, -2))
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), color="C1")
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_0$")
plt.ylabel(r"$J(\beta_0)$")
plt.show()

第一个情节：

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-4, 7, 100), J(parameters_0[-1], np.linspace(-4, 7, 100), -1, -2))
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), color="C1")
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_1$")
plt.ylabel(r"$J(\beta_1)$")
plt.show()

第二个情节：

b_0 = np.linspace(-10, 10, 100)
b_1 = np.linspace(-10, 10, 100)
X, Y = np.meshgrid(b_0, b_1)
Z = J(X, Y, x=-1, y=-2)
fig,ax=plt.subplots(1,1)
cp = ax.contourf(X, Y, Z)
fig.colorbar(cp) 
ax.set_xlabel(r"$\beta_0$")
ax.set_ylabel(r"$\beta_1$")
plt.show()

等高线图是：

例如，当成本函数的全局最小值为 (0, 2) 时，为什么我会得到上图而不是类似于下图的图？提前致谢。

【问题讨论】：

标签： python matplotlib machine-learning gradient-descent

【解决方案1】：

我认为那里没有错误，您可以从 2d 图中看到您的梯度下降图是一个二次函数，因此您从轮廓看到它的方式就像从天空到山谷看到它一样。至于为什么它看起来不像一个圆圈，那是因为它只是一个 3d 二次函数。我也曾经做过类似的事情，梯度下降图和你绘制的一样。在页面末尾查看here

【讨论】：