使用 tflite 文件在 docker 上提供 TensorFlow 服务

【问题标题】：Tensorflow Serving on docker using tflite file使用 tflite 文件在 docker 上提供 TensorFlow 服务
【发布时间】：2022-01-03 12:11:33
【问题描述】：

我正在尝试使用 Tensorflow Serving 部署 ML 模型。即使我在 docker 上添加了共享文件路径。这个错误会以某种方式出现。我正在使用一个 tflite 文件来部署它，它似乎根本不起作用。请帮助并提供一些建议或反馈。

【问题讨论】：

【解决方案1】：

您不能使用.tflite 模型进行投放。对于要使用 TF Serving 提供服务的模型，模型应位于 TF Saved Model Format (.pb) 中。

将您的模型保存为保存模型共振峰：

model.save('saved_model/1/', save_format="tf")

This Link 展示了如何将 .tflite 模型更改为标准模型。这可能会有所帮助。

同样在您的图片中：您的挂载目录在 tensorflow docker 服务中不正确。你可以使用这个命令来运行 docker：

docker run -p 8501:8501 \
  --mount type=bind,source=/path/to/my_model/,target=/models/my_model \
  -e MODEL_NAME=my_model -t tensorflow/serving

【讨论】：