在 python 中加载 Tensorflow Lite 模型

Question

我正在使用具有量化和浮点模型的 Tensorflow Lite 进行 TinyML 项目。在我的管道中，我使用tf.keras API 训练我的模型，然后将模型转换为 TFLite 模型。最后，我将 TFLite 模型量化为 int8。
我可以使用 API model.save 和 tf.keras.model.load_model 保存和加载“正常”张量流模型

是否可以对转换后的 TFLite 模型执行相同的操作？每次都经过量化过程非常耗时。

Answer 1

您可以使用tflite interpreter 直接在笔记本中从 TFLite 模型中获取推理。

这是图像分类模型的示例。假设我们有一个 tflite 模型：

tflite_model_file = 'converted_model.tflite'

然后我们可以像这样加载和测试它：

# Load TFLite model and allocate tensors.
with open(tflite_model_file, 'rb') as fid:
    tflite_model = fid.read()
    
interpreter = tf.lite.Interpreter(model_content=tflite_model)
interpreter.allocate_tensors()

input_index = interpreter.get_input_details()[0]["index"]
output_index = interpreter.get_output_details()[0]["index"]

# Gather results for the randomly sampled test images
predictions = []

test_labels, test_imgs = [], []
for img, label in tqdm(test_batches.take(10)):
    interpreter.set_tensor(input_index, img)
    interpreter.invoke()
    predictions.append(interpreter.get_tensor(output_index))
    
    test_labels.append(label.numpy()[0])
    test_imgs.append(img)

请注意，您只能从 tflite 模型进行推断。您无法更改架构和层，例如重新加载 Keras 模型。如果你想改变架构，你应该保存 Keras 模型，并对其进行测试，直到你得到满意的结果，然后将其转换为 tflite。