为什么我的任务在 Google 的 App Engine 中失败？

Question

每周大约 3-4 次，我的两个 12 小时任务中的一个充当从 API 端点到雪花数据库的 ETL 失败，我无法弄清楚究竟是什么原因。

Cron Task Mananger 说它最后一次运行是在今天早上 6:29，但在检索日志时只有一行内容：

This request caused a new process to be started for your application, and thus caused your application code to be loaded for the first time. This request may thus take longer and use more CPU than a typical request for your application.

我不确定我是否需要热身、分配特定的工人等，因为单行错误的日志对我来说太无信息了。我正在使用一个相当大的实例类，我希望它能够处理大部分工作负载。

成功运行的日志如下所示：

https://github.com/markamcgown/GF/blob/main/downloaded-logs-success2.csv

还有失败：

https://github.com/markamcgown/GF/blob/main/downloaded-logs-20210104-074656.csv

App.yaml：

service: vetdata-loader
runtime: python38

instance_class: F4_1G

handlers:

- url: /task/loader
  script: auto

已更新，这是我最新的 app.yaml，现在失败较少但有时仍然失败：

service: vetdata-loader
runtime: python38

instance_class: B4_1G

handlers:

- url: /task/loader
  script: auto

basic_scaling:
  max_instances: 11
  idle_timeout: 30m

Answer 1

我认为您没有使用正确的实例类。如果您查看here about the timeouts and the task call，自动缩放的呼叫时间限制为 10 分钟，基本和手动缩放的呼叫时间最长为 24 小时。

如果我拿你的instance_class，FXXX 类型是suitable for automatic scaling。请改用B4_1G 实例类并检查您是否仍然有这些问题。你不应该。