将 Keras 模型转换为可在 Edge TPU 上使用的量化 Tensorflow Lite 模型

Question

我有一个想要在 Coral Edge TPU 设备上运行的 Keras 模型。为此，它需要是具有全整数量化的 Tensorflow Lite 模型。我能够将模型转换为 TFLite 模型：

model.save('keras_model.h5')

converter = tf.lite.TFLiteConverter.from_keras_model_file("keras_model.h5")
tflite_model = converter.convert()
open("converted_model.tflite", "wb").write(tflite_model)

但是当我运行edgetpu_compiler converted_model.tflite 时，我得到了这个错误：

Edge TPU Compiler version 2.0.267685300
Invalid model: converted_model.tflite
Model not quantized

这是因为我需要量化模型，但我不知道该怎么做。我找到了this page，它告诉我如何执行此操作，但它希望我制作一个输入数据生成器。这是它提供的示例：

def representative_dataset_gen():
  for _ in range(num_calibration_steps):
    # Get sample input data as a numpy array in a method of your choosing.
    yield [input]

如何调整此代码以处理我的输入数据？ num_calibration_steps 来自哪里？有一个更好的方法吗？ （我看到了对tf.contrib.tpu.keras_to_tpu_model 的引用，但它已被弃用）

Answer 1

我相信num_calibration_steps 只是转换器使用您的代表集来确定量化级别的次数。只是一个猜测，但它可能会多次从您的代表集中子样本（引导或折刀）。我自己仍在调查整个过程，但如果我只为每个产量传递一个图像，并在大约 100 个时使用num_calibration_steps（例如，100 个代表性图像），它似乎对我有用。你可以看我的演示脚本on github。

关键部分是：

image_shape = (56, 56, 32)

def representative_dataset_gen():
    num_calibration_images = 10
    for i in range(num_calibration_images):
        image = tf.random.normal([1] + list(image_shape))
        yield [image]

另请参阅我对这个问题的类似回复： Post-training full integer quantization of Keras model