仅在第一个 epoch 验证损失为零

Question

问题

我正在尝试使用数据集和 keras API 在 tensorflow 中构建回归模型。目标包含相当多的零，非零值大致正态分布，尽管都是正数。

当我尝试创建下面的线性模型时，我注意到在第一个时期，验证损失和两个验证指标都为 0，尽管训练损失和指标不是。这个问题在第一个 epoch 之后就消失了。尽管这并不能阻止我创建模型，但我仍然无法解释为什么会发生这种情况以及我可能会做些什么。

到目前为止尝试过

我没有成功地试图找出问题所在：

• 交换train 和test
• 更小的批量大小（32 而不是 255）
• 洗牌test
• 将密集层的初始化器设置为正常

我的代码

train = tf.data.experimental.make_csv_dataset(...)
test = tf.data.experimental.make_csv_dataset(...) # a smaller csv file

model = Sequential([
    DenseFeatures(features),
    Dense(1, activation='linear') # we are doing a regression
])
model.compile(
    optimizer='adam',
    loss='mean_squared_error',
    metrics=['mean_squared_error', 'mean_absolute_error']
)
model.fit(train,
          epochs=2, 
          validation_data=test
)

Answer 1

这是完全正常的，因为正常指标和验证指标是在不同时间计算的。

在 epoch 期间计算常规指标，因此您可以看到损失分数和其他来自训练的值。

验证指标用于查看在某个时期计算的参数是否良好。这意味着在特定时期使用的一些训练数据（您可以指定百分比）不用于训练，而是用于计算网络精度。因此，当您有特定的参数配置时，这些值是在 epoch 结束时计算的。