通过 ReLU 激活过拟合小数据集

Question

我想只使用ReLU 激活来训练网络并完全过拟合数据。然而，无论我使用多少不同的网络结构（例如，增加神经元和层的数量），我都无法达到接近于零的损失值。

重要的是要强调 i) 我不想使用另一个激活函数，并且 ii) 目前，我不会对数据点进行归一化。

n = 50
x = np.random.randint(50, 2000,  (n, 10))
y = np.random.randint(600, 4000,  (n, 1))

k = 16

model = tf.keras.Sequential([  
        tf.keras.layers.Flatten(input_shape=(10,)),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(1) 
    ])

model.compile(loss='mse',optimizer = tf.keras.optimizers.Adam(learning_rate=0.0001))   
model.fit(x, y, epochs=1000, batch_size=1, verbose=2)

我当前的网络非常普通，在我看来，ReLU 激活应该“轻松”记住/过度拟合数据，尤其是在考虑数据集的大小和维度时。我是否有可能在我的代码中做错了什么？或者我的网络无法正常工作的原因是什么？

Answer 1

如果您添加更多神经元并增加批量大小和学习率，损失似乎最终会降至零。

import numpy as np
import tensorflow as tf
np.random.seed(0)
tf.random.set_seed(0)

n = 50
x = np.random.randint(50, 2000,  (n, 10))
y = np.random.randint(600, 4000,  (n, 1))

k = 100

model = tf.keras.Sequential([
        tf.keras.layers.Flatten(input_shape=(10,)),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(k, activation='relu'),
        tf.keras.layers.Dense(1)
    ])

model.compile(loss='mse', optimizer=tf.keras.optimizers.Adam(learning_rate=0.001))

history = model.fit(x, y, epochs=1000, batch_size=32, verbose=0)

loss = history.history['loss']

for epoch in [1, 10, 50, 100, 500, 1000]:
    print('Epoch: {}, Loss: {:,.4f}'.format(epoch, loss[epoch - 1]))

# Epoch: 1, Loss: 7,371,788.0000
# Epoch: 10, Loss: 1,696,856.7500
# Epoch: 50, Loss: 523,101.4375
# Epoch: 100, Loss: 23,518.8301
# Epoch: 500, Loss: 88.4517
# Epoch: 1000, Loss: 0.0000