如何为多个模型使用 tensorflow 服务

Question

如何使用多个tensorflow 模型？ 我使用 docker 容器。

model_config_list: {

  config: {
    name: "model1",
    base_path: "/tmp/model",
    model_platform: "tensorflow"
  },
  config: {
     name: "model2",
     base_path: "/tmp/model2",
     model_platform: "tensorflow"
  }
}

Answer 1

从官方tensorflow servingdocker file构建一个docker镜像

然后在 docker 镜像中。

/usr/local/bin/tensorflow_model_server --port=9000 --model_config_file=/serving/models.conf

这里的/serving/models.conf 与您的文件相似。