如何使用 MNIST 在 tensorflow 中减少权重位或更改为较低位的类型？

Question

我正在做 CNN 模型压缩，并试图减少权重的位以获得位的长度和准确性之间的关系。但是当我使用Tensorflow网站的方法改变CNN的权重类型时，出现了错误：

“类型错误：传递给参数‘a’的值的 DataType int8 不在允许值列表中：float16、float32、float64、int32、complex64、complex128”。

似乎重量不能是其他Dtype。但我读了一些类似https://arxiv.org/pdf/1502.02551.pdf 的论文。可以将权重的位数减少到 6bits ， 4bits ，甚至更低的位。

我的代码在这里（忽略导入的东西）：

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)
x = tf.placeholder(tf.int8,[None,784])
W = tf.Variable(tf.zeros([784,10]),tf.int8)
b = tf.Variable(tf.zeros([10]),tf.int8)

y = tf.nn.softmax(tf.matmul(x,W)+b)
#the error come out with "y = tf.nn.softmax(tf.matmul(x,W)+b)"

这只是一个标准的tensorflow官方代码，只是改变了变量的Dtype。我也尝试过 tf.cast ，但它仍然出现错误。

tf.cast(W,tf.int8)
tf.cast(b,tf.int8)

谁能告诉我如何克服这种情况？非常感谢！！

Answer 1

Tensorflow 不允许小于 16 位的数字。无论如何，少于 16 位是不切实际的，因为假设您使用 8 位（整数 4 位，十进制 4 位），可能的最低十进制数为 0.0625（1/16 -> 4 位只有 16 个不同的数字）。

您引用的论文使用 16 位数字，16 位分为 8-8、10-6 和 14-2 位（第一个是十进制位）。它还会对变量进行四舍五入，然后将它们转换为上述位分布，而不是在不四舍五入的情况下直接截断变量。

---

更新：我做了一点挖掘，如果您使用 float16 或 14-2 固定位分布，它实际上并没有太大区别：

• 最低float16十进制数：0.0000610352
• 1 或 14-2 固定位分布的最小十进制数：0.00006103515625

所以我建议，您只需使用 float16 instad of fixed 位分布，只使用随机舍入算法， 论文中描述的。

---

更新 2： 我使用 float32 和 float16 训练了 MNIST 数据集。 float16 网络的性能与float32 网络几乎相同。该网络有两个隐藏层，每个隐藏层有 1000 个神经元，tf.nn.relu 作为激活函数。我使用了标准的 tensorflow tf.train.GradientDescentOptimizer 优化器，学习率为 0.1。作为成本函数，我使用了tf.nn.softmax_cross_entropy_with_logits。该网络训练了 120 多个 epoch，每 600 步，batch-size 为 100。float16 网络的测试准确度为 98.189997673，而float32test 准确度为 98.1599986553 。

一些有趣的链接：

• GTC talk on mixed precision training
• NVIDIA fork of caffe

更新 3： 我认为在 tensorflow 中实现混合精度会很困难，因为您必须为反向传播编写自定义处理。 tensorflow 团队已经在努力实现 nativ 半精度。同时，我认为实现这一点的最佳方法是使用 caffe，其中已经实现了原生混合精度（至少在 nvidia branch 中）。见this ticket。

Answer 2

由于 OP 关注的是降低权重的精度，但不倾向于在实现级别上做同样的事情，我认为这可能会有所帮助：

您可以通过在 Keras 中编写自己的自定义层来降低权重的精度（通过近似高精度值）：https://keras.io/layers/writing-your-own-keras-layers/

您可以在此处找到二进制权重模型的示例：https://github.com/DingKe/nn_playground/blob/master/binarynet/binary_layers.py

您必须编辑层的call() 方法并将权重近似为所需的位数。见下文：

```
def call(self, inputs):
    low_precision_kernel = reduce_precision_by_round_off(self.kernel)
    <--- Use the low precision kernel get the outputs --->
    return outputs

```

self.kernel 在自定义层的build() 调用中定义。