使用 Tensorflow 服务为数百个模型提供服务

Question

我想使用 Tensorflow Serving 为大约 600 个模型提供服务。

我正在努力寻找最终减少模型数量的解决方案：

1. 我的模型具有相同的架构，只是权重发生了变化。 是否可以只加载一个模型并更改权重？

2. 是否有可能将所有这些模型有效地聚合在一起，模型的第一层将是一个 ID 和该模型的输入特征？

3. 有没有人试过在一台机器上运行几百个模型？我找到了这种皮质解决方案，但想避免使用其他技术。 https://towardsdatascience.com/how-to-deploy-1-000-models-on-one-cpu-with-tensorflow-serving-ec4297bff54b

Answer 1

如果模型具有相同的架构但不同的权重，您可以尝试将所有这些模型合并为“超级模型”。但是，我需要更多地了解这项任务，看看这是否可能。

要为 600 个模型提供服务，您需要一台功能非常强大的机器和大量内存（取决于您的模型有多大以及您并行使用它们的数量）。

您可以自己运行 TFServe，也可以使用 Inferrd.com/Google/AWS 等提供商。