Keras 无法找到线性凸问题的解决方案

Question

我编写了这个可重现代码来演示这个问题：

import numpy as np
import keras
import tensorflow as tf

n, d = 2, 3
A = np.random.random((n, d))
b = np.random.random((n, 1))
x = np.linalg.lstsq(A, b, rcond=None)[0]
print("Numpy MSE is {}".format((np.linalg.norm(A @ x - b) ** 2) / n))

model = keras.models.Sequential()
model.add(keras.layers.Dense(1, use_bias=False, activation='linear'))
opt = tf.keras.optimizers.SGD(learning_rate=0.01, momentum=0, nesterov=False)
model.compile(loss="mse", optimizer=opt)
model.fit(A, b, batch_size=A.shape[0], epochs=10000, verbose=0)
x = model.layers[0].get_weights()[0]
print("Keras MSE is {}".format((np.linalg.norm(A @ x - b) ** 2) / n))

基本上，我以两种方式求解欠定线性方程组Ax=b，一次使用 numpy，一次使用 keras 标准梯度下降。

当我运行它时，我得到这个输出：

Numpy MSE is 6.162975822039155e-33
Keras MSE is 1.3108133821545518e-10

numpy 产生了更好的结果，但我仍然愿意接受 keras 作为解决方案，10^(-10) 相当小。

现在将 n 增加到 200，将 d 增加到 300。 现在的输出是：

Numpy MSE is 1.4348640308871558e-30
Keras MSE is 0.0001953624326696054

现在不仅numpy好很多，而且就我而言，keras没有找到解决方案。我们得到的结果还不够接近于零，我被卡住了。改变学习率或增加迭代不会显着改变结果。为什么会这样？

我知道有一个解决方案。对于大尺寸数据，例如 n = 200 d = 300 的情况，我希望误差最多为 10^(-10)，使用 keras

TLDR：我拼命想过度拟合。我知道有一个解决方案可以让我零损失。我的问题是线性和凸的，经典的欠定系统，keras 找不到那个解决方案，给我 0 训练损失。

Answer 1

您在层定义中缺少input_shape 参数。不太清楚为什么没有定义 input_shape 就不能工作（权重的形状似乎还可以）；但是，根据documentation：

一般来说，如果您知道顺序模型的输入形状是什么，建议您始终提前指定输入形状。

另一件事是，通过设置batch_size=A.shape[0]，你实际上是在使用batch梯度下降，而不是stochastic；为了使用 SGD，您需要设置一个小于数据样本大小的batch_size。

因此，在高维情况下对代码进行以下更改（加上将所有 keras 使用替换为 tf.keras，因为将两者混合不是一个好习惯）：

# n, d = 200, 300

model.add(tf.keras.layers.Dense(1, input_shape=(A.shape[1],), use_bias=False, activation='linear'))

model.fit(A, b, batch_size=32, epochs=10000, verbose=0)

10,000 epochs 后，结果是：

Keras MSE is 1.9258555439788135e-10

在迭代 10,000 多个 epoch（即总共 20,000 个）时，我们得到：

Keras MSE is 1.2521153241468356e-13

重复运行，我们得到质量相似（但当然不相同）的结果。