如何在 tflite 模型中组合数据预处理代码（在 tflite 中集成数据预处理代码）

Question

我有一个包含资产、变量和 saved_model.pb 的 SAVED_MODEL_PATH

SAVED_MODEL_PATH

• 资产
• 变量
• saved_model.pb

我可以使用以下代码（主要部分）将其转换为 tflite 模型

# Convert the model
converter = tf.compat.v1.lite.TFLiteConverter.from_saved_model(SAVED_MODEL_PATH)
 
tflite_model = converter.convert()
 
tflite_model_name = 'model.tflite'
# Save the model.
with open(tflite_model_name, 'wb') as f:
 f.write(tflite_model)

现在，在使用解释器时，我需要将任意大小的图像转换为模型的要求。例如，我现有的模型需要 320 x 320 的图像，那么

读取图像

img = cv2.imread(IMAGE_PATH)
image_np = np.array(img)

预处理代码（需要将此代码与tflite模型结合）

input_tensor = tf.convert_to_tensor(np.expand_dims(image_np, 0), dtype=tf.float32)
input_data = tf.reshape(tf.image.resize(image_np, [320, 320]), [1, 320, 320, 3])

将预处理数据输入解释器

interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print(output_data)
[[[0.05000001 0.55       0.85       0.95      ]
[0.17500001 0.12500003 0.375      0.5250001 ]
[0.5375     0.5375     0.7375001  0.6374999 ]
[0.6875     0.7625     0.7875     0.96250004]
[0.86249995 0.33749998 1.0625     0.4375    ]
[0.46678936 0.26678932 0.6082107  0.40821064]
[0.53357863 0.7335787  0.8164213  1.0164213 ]
[0.2125     0.7375     0.4125     0.83750004]
[0.61678934 0.66678935 0.75821066 0.8082107 ]
[0.29178935 0.86678934 0.43321067 1.0082107 ]]]

现在有什么方法可以调用任何对图像执行预处理以包含在 tflite 模型中的代码，以便在遇到图像时进行预处理（任何可能包括创建自定义转换函数的转换？） 例如，如果我们调整任意大小的图像（在这种情况下），它可以直接将图像转换为所需的大小（320 x 320 或根据要求的任何其他大小）？

Answer 1

tf.keras.layers.Resizing (https://www.tensorflow.org/api_docs/python/tf/keras/layers/Resizing) 可以在您的模型中使用。

编辑： 更新答案：

您可以定期训练模型，在训练并转换为 TFLite 后，您可以将预处理层添加到模型的开头。

首先，让我们创建一个虚拟模型：

model = tf.keras.models.Sequential(
    [
        tf.keras.layers.Conv2D(32, 3, 1, 'same'),
        tf.keras.layers.Conv2D(32, 3, 1, 'same')
    ]
)

model.build(input_shape=(1, 64, 64, 3))
model.summary()

Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (1, 64, 64, 32)         896       
_________________________________________________________________
conv2d_1 (Conv2D)            (1, 64, 64, 32)         9248      
=================================================================
Total params: 10,144
Trainable params: 10,144
Non-trainable params: 0

接下来，我们将调整大小的层添加到模型中并再次打印summary：

model2 = tf.keras.models.Sequential(
    [
        tf.keras.layers.Resizing(64, 64),
        model
    ]
)

model2.build(input_shape=(1, 128, 128, 3))
model2.summary()

Layer (type)                 Output Shape              Param #   
=================================================================
resizing (Resizing)          (1, 64, 64, 3)            0         
_________________________________________________________________
sequential (Sequential)      (1, 64, 64, 32)           10144     
=================================================================
Total params: 10,144
Trainable params: 10,144
Non-trainable params: 0

然后我们可以将模型转换为TFLite 并可视化它：

converter = tf.lite.TFLiteConverter.from_keras_model(model2)
tflite_model = converter.convert()
open("test.tflite", "wb").write(tflite_model)

现在我们有一个 TFLite 模型，其中在模型训练后添加了预处理层。