论文地址:https://arxiv.org/pdf/1709.01134v1.pdf

这篇论文主要篇幅都花在实验上,对于wrpn的具体原理等并未详细介绍。下面简单介绍笔者对该论文的理解。

主要内容

该论文最大贡献就是在不影响网络精度的前提下,对于**层的量化。
如下图所示,使用minibatch时,随着batch数量的增加,**层占用的内存显著增加。所以,作者提出了**层量化的wrpn方法。
论文总结:WRPN: Wide Reduced-Precision Networks
DoReFa的k位权重量化公式:
论文总结:WRPN: Wide Reduced-Precision Networks
而WRPN则是在此基础上提出更简单的量化公式:
论文总结:WRPN: Wide Reduced-Precision Networks
其中,权重是带符号的,故此留一位作为符号位(k-1);而**值则是无符号的。
需要注意的是,事先要将权重限制在[-1,1],将**值限制在[0,1],具体方法不限(如Tensorflow中的tf.clip_by_val函数)。

wrpn是作者通过大量实验总结所得出的,按照笔者的理解,就是增加特征图的同时降低精度,使得整体的复杂性比原本网络小得多,而且由于特征图的增加,量化后整个网络的精度反而不会降低多少。

这种方法还需要更多的实验结果进行支撑,有兴趣的可以尝试。

相关文章:

  • 2021-09-15
  • 2021-07-24
  • 2021-11-24
  • 2021-06-23
  • 2021-07-23
  • 2022-12-23
猜你喜欢
  • 2021-09-05
  • 2021-08-17
  • 2021-06-16
  • 2021-12-14
  • 2021-10-09
  • 2021-04-10
  • 2021-07-13
相关资源
相似解决方案