关于 GCP 中的无服务器批处理答案

【问题标题】：About serverless batch processing in GCP关于 GCP 中的无服务器批处理
【发布时间】：2022-05-21 04:45:06
【问题描述】：

我将使用 Google Cloud Platform 进行批处理。现在我们正在使用 Cloud Functions 进行批处理，但这些有 540 秒的时间限制。我们的批处理每天大约需要 1 小时，每天一次。

我也在Cloud Functions上尝试过并行处理，但是因为不行，所以我不会选择它。

我们将进行无服务器批处理，并计划将数据存储在 Firestore 中。如果你有好主意，请告诉我。

【问题讨论】：

标签： google-cloud-platform google-cloud-functions

【解决方案1】：

我也遇到过同样的问题。就我而言，我选择了：

Cloud Scheduler 通过推送到 Pub/Sub 来启动作业。
Pub/Sub 触发 Cloud Functions。
Cloud Functions 挂载 Compute Engine 实例。
Compute Engine 运行批处理工作负载并在完成后自动终止实例。

您可以在媒体上发帖阅读：https://link.medium.com/1K3NsElGYZ

它可能会帮助您入门。

【讨论】：

【解决方案2】：

您必须缩小此问题的范围，以便社区能够提供答案。

但是，只是为了为您的问题提供一些指导，Cloud Functions 被特别认为可以在基于事件的环境中工作，所以如果这不是您的用例，您可以查看other Severless approaches in the Platform，也许更多特别是App Engine。在 App Engine 中，根据您选择的 type of scaling configuration，您可以让请求运行长达 24 小时。 App Engine 的存储部分可以使用Datastore。

另一方面，如果您的计划是将 Firebase 与 Firestore 结合使用，请随时编辑您的问题，添加适当的标签，以引起其他专门从事这些主题的社区用户的注意。无论如何，正如我已经提到的，您必须更具体地处理您的问题才能获得更好的答案。

【讨论】：

【解决方案3】：

我也遇到过同样的问题。这是我的方法：

使用 App Engine 的 cron 任务管理器启动作业
使用 App Engine，通过简单的 http 请求调用 Cloud Function
使用 Cloud Function，挂载 Compute Engine 实例
使用 Compute Engine，处理批处理并自动终止作业结束时的实例

不确定是否正确。

【讨论】：

我相信您完美地描述了“App Engine”的设计目的！

【解决方案4】：

您可以使用 AI Platform Training 来运行任意 Docker 容器——它不一定是机器学习作业。要在 GPU 上执行任意容器，您只需：

gcloud ai-platform jobs submit training gpu_function \
  --scale-tier BASIC_GPU \
  --region $REGION \
  --master-image-uri gcr.io/$PROJECT_ID/some-image-name

这只是一个 REST API，因此您可以使用多种编程语言的各种客户端库来调用它。对容器没有任何要求——只是它需要有一个入口点并且它在容器注册表中发布。也可以使用自定义机器类型。

详情见：

https://cloud.google.com/ml-engine/docs/custom-containers-training

【讨论】：