为神经网络设置批量大小*和*训练迭代次数？

Question

我正在使用 KNIME Doc2Vec 学习者节点来构建词嵌入。我知道 Doc2Vec 是如何工作的。在 KNIME 中，我可以选择设置参数

• Batch Size：每批要使用的字数。
• 时期数：要训练的时期数。
• 训练迭代次数：每批完成的更新次数。

从神经网络我知道（懒惰地从https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network复制）：

• 一个 epoch = 所有训练示例的一次前向传递和一次反向传递
• batch size = 一次前向/后向传递中的训练示例数。批处理大小越大，您需要的内存空间就越多。
• 迭代次数 = 传递次数，每次传递使用 [batch size] 示例数。需要明确的是，一次传球 = 一次向前传球 + 一次向后传球（我们不将向前传球和向后传球算作两次不同的传球）。

据我所知，设置批量大小和迭代没有什么意义，因为一个由另一个决定（给定数据大小，由环境决定）。那么为什么我可以同时更改这两个参数呢？

Answer 1

情况不一定如此。您还可以训练“半个纪元”。例如，在 Google 的 inceptionV3 预训练脚本中，您通常同时设置迭代次数和batch size。这可能会导致“部分时期”，这很好。

训练半个 epoch 是否是个好主意可能取决于您的数据。对此有一个thread，但不是一个结论性的答案。

我不熟悉 KNIME Doc2Vec，所以我不确定那里的含义是否有所不同。但是根据您给出的定义，设置批量大小+迭代似乎很好。此外，设置 epoch 的数量可能会导致冲突，尽管会导致数字加起来无法合理组合的情况。