计算训练时期函数中的损失

Question

in train_epoch function

我们有三种损失

1. 损失
2. batch_loss
3. train_loss

据我了解 loss 是一个张量，batch loss 是 tensor 的值，train_loss 是 batch_loss 的累积值，这对我来说没问题。

我的问题是为什么 AllenNLP 考虑了 batch_loss 并没有计算 batch_group 的累积损失？

我也不明白 epoch 内需要 batch_group，batch_group 内需要批处理

这是我的理解 我们里面有 epoch 我们在 batch_group 里面有 batch_group 我们有批处理 batch_loss 是为 batch 而不是为 batch_group 计算的，为什么？

Answer 1

我的问题是为什么 AllenNLP 考虑了 batch_loss 并没有计算 batch_group 的累积损失？

这实际上是一个错误，所以感谢您指出这一点！现在有一个 PR 可以修复它：https://github.com/allenai/allennlp/pull/4706

我也不明白在 epoch 中需要 batch_group，并且 batch_group 中的批处理

batch_group 始终只包含一个 batch，除非您使用大于 1 的 num_gradient_accumulation_steps，即您正在使用梯度累积，这是一种获得更大有效批量大小的方法。

例如，请参阅https://medium.com/ai2-blog/tutorial-training-on-larger-batches-with-less-memory-in-allennlp-1cd2047d92ad。