量化 TensorFlow 图以进行推理

Question

我正在尝试量化我的模型（CNN），以便将其转换为量化的 .tflite 模型。 我正在关注以下教程：https://github.com/tensorflow/tensorflow/tree/r1.13/tensorflow/contrib/quantize#quantization-aware-training

首先，我通过调用在我的图中引入假量化节点：

tf.contrib.quantize.create_training_graph(quant_delay=500)

但是，当最后我尝试调用此函数以确保使用正确格式的量化信息导出图形时：

tf.contrib.quantize.create_eval_graph(input_graph=tf.get_default_graph())

我得到这个错误：

ValueError: Training op found in graph, exiting {'ApplyAdam'}

事实上，在构建图表时，我有效地添加了一个 AdamOptimizer 来训练我的模型：

train_step = tf.train.AdamOptimizer(1e-4).minimize(...)

如何解决这个问题？该错误似乎表明我应该删除 Adam 优化器，尽管我需要它进行训练。

我在 TensorFlow 网页和教程以及其他论坛上都找不到任何关于此的帮助。希望你能帮帮我

提前致谢

Answer 1

这可能有点复杂，但您需要创建两个独立且不同的图表，一个用于训练，一个用于导出。查看 this gist 获取训练示例，然后使用量化感知训练、导出和转换进行微调。

步骤 1)

在训练图中，您可以正常创建直到损失的所有内容，然后在使用优化器添加 train_op 之前调用 tf.contrib.quantize.create_training_graph(...)。训练您的模型然后创建一个检查点，您可以通过tf.estimator API 或定期在tf.Session 中执行此操作。

---

第 2 步）

然后你需要创建一个推理图，你甚至不在这里将损失函数仅仅作为模型的推理部分。之后调用tf.contrib.quantize.create_eval_graph(...) 添加量化操作。 最后，您只需从训练中创建的检查点恢复，然后导出为所需的格式，无论是frozengraph 还是 savedmodel。

---

步骤 3)

使用 toco 将 freezedgraph/savedmodel 转换为 tflite。