1.batchsize越大 是不是训练越快？
GPU :一块2080Ti
平台：pytorch cuda
图片数量：2700
| batchsize | 一个图片处理时间 | GPU内存占用 | GPU算力使用 | 一个epoch 所用时间 |
|---|---|---|---|---|
| 1 | 0.117s | 2.5G | 20% | 2700 * 0.0117 = 318s |
| 5 | 0.516s | 8G | 90% | 2700 * 0.516/5 = 279s |
batchsize大了之后，占用的资源多了，算力多了，但是速度没有提升，这样是不是太坑了。
我们其实可以把 batchsize设置小点，然后把剩余的内存跑其他实验，而且再在同一张卡上跑一个新的实验，对之前的速度也没有影响。
结论：
1.本人实验 batchsize越大，训练速度提升不大
2.bachsize小点，多跑几个实验真香
完成每个epoch运算的所需的全部时间主要卡在：
- load数据的时间，
- 每个epoch的iter数量。
- 因此对于每个epoch，不管是纯计算时间还是全部时间，大体上还是大batch能够更节约时间一点，但随着batch增大，iter次数减小，完成每个epoch的时间更取决于加载数据所需的时间，此时也不见得大batch能带来多少的速度增益了。
2.batchsize大了，是不是结果会变好？
收集资料发现，确实是这样的，但是也不能太大了
- Batch_Size 太小，算法在 200 epoches 内不收敛。
- 随着 Batch_Size 增大，处理相同数据量的速度越快。
- 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
- 由于上述两种因素的矛盾， Batch_Size增大到某个时候，达到时间上的最优。
- 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size增大到某些时候，达到最终收敛精度上的最优。