在 VGG16 模型和 Tensorflow lite 中使用 converter.optimization 时预测时间长答案

【问题标题】：Long prediction time when using converter.optimization in a VGG16 model and Tensorflow lite在 VGG16 模型和 Tensorflow lite 中使用 converter.optimization 时预测时间长
【发布时间】：2021-05-11 04:06:01
【问题描述】：

我写了一个基于 VGG16 的模型，我只添加了两个额外的卷积层。输出是一个大小为 16x16x1 的数组，它只是简单二进制分类的结果。我使用了 TensorFlow-lite，代码基于可用的文档。问题是，当我使用模型进行预测时，需要很长时间（近 5 分钟）才能给出结果。我在 GPU 上使用 Tensorflow 2.4，Python 3.7，我的显卡是 GTX 1660Ti（移动版），CPU 是 intel i7 9750H。
代码如下。

import tensorflow as tf
import os
import time
import numpy as np
import cv2
import keras
import pathlib

saved_model_dir= 'model/'
saved_modelh5 = 'model.h5'
dataset_path = 'bound box dataset/img'
out_path = 'converted_model.tflite'
num_calibration_steps = 10


#-----------------------------------------------------------
images = []
for file in os.listdir(dataset_path):
    img = cv2.imread( os.path.join(dataset_path,file) )
    images.append(img)
images = np.array( images )

imgs_tensor = tf.cast( images, dtype = tf.float32)/255.0
ds = tf.data.Dataset.from_tensor_slices((imgs_tensor)).batch(1)
print('data loaded')

#-----------------------------------------------------------
def representative_dataset_gen():
  for input_value in ds.take(num_calibration_steps):
    yield [input_value]




#converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter = tf.lite.TFLiteConverter.from_keras_model(keras.models.load_model(saved_modelh5))  
converter.optimizations = [tf.lite.Optimize.DEFAULT ]
#converter.representative_dataset = tf.lite.RepresentativeDataset( representative_dataset_gen )
#converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
tflite_model = converter.convert()


#------------------------------------------------------------
#with open(out_path, "wb")as f:
#    f.write(tflite_model)
print('converted')
tflite_model_file = pathlib.Path(out_path)
tflite_model_file.write_bytes(tflite_model)
print('Saved')



img = cv2.imread('bound box dataset/img/1.png')
input_data = img.reshape(1,512,512,3).astype(np.float32)/255.0

interpreter = tf.lite.Interpreter( model_content = tflite_model)
interpreter.allocate_tensors()

# Get input and output tensors.
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Test model on random input data.
t = time.time()
input_shape = input_details[0]['shape']
#input_data = np.array(np.random.random_sample(input_shape), dtype=np.float32)
interpreter.set_tensor(input_details[0]['index'], input_data)

interpreter.invoke()

# The function `get_tensor()` returns a copy of the tensor data.
# Use `tensor()` in order to get a pointer to the tensor.
output_data = interpreter.get_tensor(output_details[0]['index'])

t = time.time() - t
print('predict time:',t)

【问题讨论】：

好的，所以我发现了一些新东西。当我初始化 converter.optimizations 或 converter.representative_dataset 时，预测时间会上升到大约 5 分钟。但是当我让它们未初始化时，预测会下降到大约一秒钟。知道为什么吗？
还有别的东西，我使用的是 Windows 10，它已更新到最新版本。您认为切换到 Linux 基础操作系统会对它产生什么影响吗？

标签： python tensorflow machine-learning tensorflow-lite

【解决方案1】：

首先，您的 GPU 没有计算此预测。您必须使用 cuda 将数据传输到 gpu，但这不是必需的。

重塑您的图像到 (256,256) 甚至更低，尺寸为 (512, 512) 的图像对于 VGG 输入来说是非常大的倍。这就是您的计算需要这么长时间的原因。
我的下一个建议是改用像 ResNet50 这样的新架构。

【讨论】：