从集群服务多个深度学习模型

Question

我在考虑如何部署多个模型以供使用。我目前正在处理张量流。我指的是this 和this 文章。

但我找不到任何文章，其中目标需要以分布式方式服务多个模型。 Q.1. TensorFlow 服务是否从单台机器上为模型提供服务？有没有办法建立一个运行 tensorflow 服务的机器集群？因此，多台机器服务于相同的模型，在某种程度上作为主从机工作，或者说它们之间的负载平衡，同时为不同的模型提供服务。

Q.2. 其他深度学习框架是否存在类似功能，例如 keras、mxnet 等（不仅限于 tensorflow 和来自不同框架的模型）？

Answer 1

a1 ：使用kubernetes，一个容器编排系统，提供分布式时尚的Tensorflow模型，这是一个与您的分布式系统相关的大量疼痛，包括负载平衡。请检查serving kubernetes。

a2 ：当然，检查Prediction IO。它不是专生的深入学习，但可以用来部署用e.g制成的模型。 Spark Mllib。