任何人都可以查看一些简单的梯度下降代码吗？答案

【问题标题】：can anyone look over some simple gradient descent code?任何人都可以查看一些简单的梯度下降代码吗？
【发布时间】：2013-05-29 06:41:40
【问题描述】：

我正在尝试实现一个非常简单的一维梯度下降算法。我的代码根本不起作用。基本上取决于我的 alpha 值，最终参数要么非常大（如 ~70 位），要么基本上为零（~ 0.000）。我觉得梯度下降在 alpha 中不应该如此敏感（我在 [0.0,1.0] 中生成小数据，但我认为梯度本身应该考虑数据的规模，不是吗？）。

代码如下：

#include <cstdio>
#include <cstdlib>
#include <ctime>
#include <vector>

using namespace std;

double a, b;
double theta0 = 0.0, theta1 = 0.0;

double myrand() {
  return double(rand()) / RAND_MAX;
}

double f(double x) {
  double y = a * x + b;
  y *= 0.1 * (myrand() - 0.5);  // +/- 5% noise

  return y;
}

double h(double x) {
  return theta1 * x + theta0;
}

int main() {
  srand(time(NULL));
  a = myrand();
  b = myrand();

  printf("set parameters: a = %lf, b = %lf\n", a, b);

  int N = 100;

  vector<double> xs(N);
  vector<double> ys(N);
  for (int i = 0; i < N; ++i) {
    xs[i] = myrand();
    ys[i] = f(xs[i]);
  }

  double sensitivity = 0.008;
  double d0, d1;

  for (int n = 0; n < 100; ++n) {
    d0 = d1 = 0.0;
    for (int i = 0; i < N; ++i) {
      d0 += h(xs[i]) - ys[i];
      d1 += (h(xs[i]) - ys[i]) * xs[i];
    }

    theta0 -= sensitivity * d0;
    theta1 -= sensitivity * d1;

    printf("theta0: %lf, theta1: %lf\n", theta0, theta1);
  }

  return 0;
}

【问题讨论】：

据我所见，您的函数“f”是一个随机函数，但您的渐变不一定对应于该函数。如果梯度没有很好地定义，则不能保证下降转换。我错过了什么吗？
没关系...刚刚意识到这是随机噪音
是的，f 只是用于生成训练数据。 h 是我正在为其执行下降的函数。
可以参考这里的开源实现：cimne.com/purple/default.asp

标签： c++ machine-learning artificial-intelligence

【解决方案1】：

更改 alpha 的值会导致算法发散，因此这可能是发生这种情况的原因之一。您可以通过计算每次迭代中的误差来检查，看看是增加还是减少。

此外，建议在开始时随机设置 theta 的值，而不是将它们分配为零。

除此之外，当你更新 theta 的值时，你应该除以 N，如下所示：

theta0 -= 灵敏度 * d0/N；

theta1 -= 灵敏度 * d1/N；

【讨论】：

使用有效的 GD 算法和线性模型，无需随机初始化参数。这只会让事情变得更复杂。

【解决方案2】：

我快速浏览了您的实现，我觉得它很好。

我的代码根本不起作用。

我不会这么说的。对于足够小的 sensitivity 值，它的行为似乎是正确的，这是一个你只需要“猜测”的值，这就是梯度下降应该如何工作的。

我觉得梯度下降在 alpha 中不应该这么敏感

如果您难以将其可视化，请记住您正在使用梯度下降来找到线性回归的成本函数的最小值，这是一个二次函数。如果你绘制成本函数，你会明白为什么学习率在这些情况下如此敏感：直观地说，如果抛物线很窄，算法会更快收敛，这很好，但是学习率更“敏感”并且如果你不小心，算法很容易发散。

【讨论】：