如何将 Keras CNN 模型部署到 Web 服务？

Question

我目前正在尝试为 Web 服务部署 Keras 卷积神经网络。

我曾尝试将我保存的 keras hdf5 模型转换为 tensorflow.js 模型并进行部署，但它会减慢客户端应用程序的速度，因为该模型相对稳健，因此会占用客户端内存中的大量空间。

因此，我试图找出一种方法在云中部署模型并通过来自网络应用程序的带有图像的请求进行预测，然后接收包含预测张量的响应。我知道 gcloud 可能有一些类似的能力或特性，但我不确定如何开始。

基本上，我问的是是否有任何服务可以让我部署预训练和保存的卷积神经网络模型，我可以在请求中向该模型发送图像并使用该模型返回预测张量？

Answer 1

您可以导出经过训练的 Keras 模型并使用 TensorFlow Serving 提供服务。 TF Serving 允许托管模型并通过 gRPC 或 REST 请求调用它们。您可以部署一个带有接受图像的端点的烧瓶应用程序，将其包装为有效负载并通过requests 模块调用您的模型。

您将模型导出为可服务对象的代码如下所示：

import tensorflow as tf

# The export path contains the name and the version of the model
model = keras.models.load_model('./mymodel.h5')

# Feth the Keras session and save the model
with keras.backend.get_session() as sess:
    tf.saved_model.simple_save(
        sess,
        export_dir,
        inputs={'images': model.input},
        outputs={t.name:t for t in model.outputs})

这将存储 TF Serving 所需的文件。从此目录中，您可以按如下方式托管模型：

tensorflow_model_server --model_base_path=$(pwd) --rest_api_port=9000 --model_name=MyModel

您的请求将如下所示：

requests.post('http://ip:9000/v1/models/MyModel:predict', json=payload)

其中payload 是包含您的请求图像的字典。

Answer 2

如果您想要在 Google Cloud 上提供模型的点击部署解决方案，请考虑使用 Cloud ML Engine's Online Prediction service。首先，按照@sdcbr 回复中的说明导出您的SavedModel。将模型复制到 GCS，然后您只需创建模型和版本：

gcloud ml-engine models create "my_image_model"
gcloud ml-engine versions create "v1"\
    --model "my_image_model" --origin $DEPLOYMENT_SOURCE

或者，更简单的是，使用 Cloud Console 只需点击几下即可完成上述操作！

您将获得一个无服务器 REST 端点，其中包括身份验证和授权、自动缩放（包括缩放到零）以及日志记录和监控，而无需编写或维护一行代码。