我已经搜索了一段时间，但似乎 Keras 在模型训练后才具有量化功能。我希望将 Tensorflow 假量化添加到我的 Keras 序列模型中。根据 Tensorflow 的文档，我需要这两个函数来进行伪量化：tf.contrib.quantize.create_training_graph() 和 tf.contrib.quantize.create_eval_graph()。 我的问题是有人设法在 Keras 模型中添加这两个功能吗？如果是，应该在哪里添加这两个功能？例如，在 model.compile 之前或 model.fit 之后或其他地方？提前致谢。
【问题讨论】：
标签： tensorflow keras
我通过训练后量化来解决问题。由于我的最终目标是为移动设备训练 mdoel，而不是在训练期间进行虚假量化，因此我导出了 keras .h5 文件并直接转换为 Tenforflow lite .tflite 文件（将 post_training_quantize 标志设置为 true）。我在一个简单的 cifar-10 模型上对此进行了测试。原始的 keras 模型和量化的 tflite 模型具有非常接近的精度（量化的稍微低一点）。
训练后量化：https://www.tensorflow.org/performance/post_training_quantization
将 Keras 模型转换为 tensorflow lite：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/g3doc/python_api.md
在这里使用了 tf-nightly tensorflow：https://pypi.org/project/tf-nightly/
如果你仍然想做假量化（因为对于某些模型，根据谷歌的说法，训练后的量化可能会给出很差的准确性），上周原始网页已关闭。不过你可以从github上找到：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize
更新：结果表明后量化并没有真正量化模型。 在推理过程中，它仍然使用 float32 内核进行计算。因此，我已切换到量化感知训练。对我的 cifar10 模型来说，准确度相当不错。
【讨论】：