在应用引擎上缓存云存储文件

Question

我正在使用应用引擎来为一堆 sklearn 模型提供服务。这些模型的大小约为 100 mb，其中大约有 25 个。

尽管位于指定的应用引擎存储桶中，但下载它们有时可能需要长达 15 秒，并且通常会占据请求时间。

我目前使用包裹在 GCS 存储客户端周围的 FIFO 缓存层，但缓存命中率并不高，因为不同模型的使用非常分散且应用引擎内存有限。

Memcache 似乎太小了，而且 /tmp 也存储在 RAM 中。

缓存此类文件有更好的解决方案吗？

Answer 1

您可以想出不同的解决方案来解决您的问题。

1. 您可以将模型嵌入到您的部署中。像这样，模型已经在这里提供了服务。发布新模型版本时，您部署了新的应用引擎服务修订版
2. 先前解决方案的问题在于部署频率：当其中一个模型更新时，您需要重新打包并重新部署您的 App Engine 服务。解决方案是微服务。每个 App Engine 服务可以有 1 个模型，因此只部署已更新的这个模型。如果您只想要入口点，您可以拥有第 26 个应用引擎服务，这是您的入口点，并将请求路由到正确的模型服务。
3. 您也可以使用 Cloud Run 执行相同的操作，如果您需要特殊的东西，您可以在其中管理容器包装和细节。您还可以在 CPU 数量和内存大小方面拥有更大的灵活性。

最后一点，在解决下载问题部分后，您可能会遇到冷启动问题：服务器启动和将模型加载到内存中的时间（在第一次请求时，实例启动时）。 Cloud Run 提出了最小实例功能来保持一定数量的实例温暖，从而消除冷启动问题。