是否有在 Kubernetes 中为数百个机器学习模型提供服务的建议方法？ 像Kfserving 这样的解决方案似乎更适合有一个经过训练的模型或其几个版本的情况，并且该模型可以满足所有请求。例如，对所有用户通用的 typeahead 模型。
但是是否有建议的方式来为数百或数千个此类模型提供服务？例如，专门针对每个用户的数据进行训练的 typeahead 模型。
实现这样的事情最简单的方法是，每个预先输入的服务容器在内存中维护一个本地模型缓存。但是随后扩展到多个 pod 将是一个问题，因为每个缓存都是 pod 的本地缓存。因此，每个请求都需要路由到已加载模型的正确 pod。
还必须维护这样一个注册表，以便我们知道哪个 pod 加载了哪个模型并在模型驱逐时执行更新似乎需要做很多工作。
【问题讨论】：
标签： machine-learning kubernetes knative-serving
您可以将 Catwalk 与 Grab 混合使用。
Grab 拥有海量数据，我们可以利用这些数据来解决 复杂的问题，例如欺诈性用户活动，并提供我们的 客户对我们产品的个性化体验。工具之一 我们用来理解这些数据的是机器学习 (ML)。
这就是 Catwalk 的创建方式：易于使用、自助服务的机器 Grab 所有人的学习模型服务平台。
更多关于走秀的信息你可以在这里找到：Catwalk。
您可以使用 TensorFlow 和 Google Cloud 提供多种机器学习模型。
机器学习领域经历如此史诗般的原因 繁荣是因为它真正有潜力彻底改变行业和 让生活变得更好。一旦机器学习模型 经过训练，下一步是将这些模型部署到使用中，使 那些需要它们的人可以使用它们——无论是医院， 自动驾驶汽车制造商、高科技农场、银行、航空公司或 日常智能手机用户。在生产中，风险很高，而且一 不能承受服务器崩溃，连接速度变慢等。 我们的客户增加了对我们机器学习服务的需求， 我们希望无缝地满足这一需求，无论是在凌晨 3 点还是下午 3 点。 同样，如果需求减少，我们希望缩减 承诺资源以节省成本，因为众所周知，云 资源非常昂贵。
您可以在此处找到更多信息：machine-learning-serving。
您也可以使用Seldon。
Seldon Core 是一个开源平台，用于在 Kubernetes 集群上部署机器学习模型。
特点：
创建由多个组件组成的推理图。
为使用
构建的模型提供一致的服务层
异构机器学习工具包。
有用的文档：Kubernetes-Machine-Learning。
【讨论】：