为什么在 Google App Engine 上运行的进程会挂起？

Question

我们有一个 cron 作业，它每小时在后端模块上运行并创建任务。 cron 作业在 Cloud SQL 数据库上运行查询，任务向其他服务器发出 HTTP 调用并更新数据库。通常它们运行良好，即使创建了数千个任务，但有时它会“卡住”并且日志中没有任何内容可以说明情况。 例如，昨天我们监控了 cron 作业，它创建了几十个任务然后它停止了，还有 8 个任务也卡在队列中。当很明显没有发生任何事情时，我们又运行了几次该过程，每次都成功完成。

一天后，原始任务被 DeadlineExceededException 杀死，然后显然在同一实例中运行的其他 8 个任务被杀死并显示以下消息： 处理此请求的进程遇到问题，导致它退出。这可能会导致一个新进程被用于对您的应用程序的下一个请求。如果您经常看到此消息，则可能是在应用程序初始化期间引发了异常。 （错误代码 104）

在进程被杀死之前，我们在日志中完全没有看到它们的记录，现在我们看到它们，在 DeadlineExceededException 之前没有任何日志记录，所以我们不知道它们在什么时候卡住了。 我们怀疑数据库中存在一些锁定，但我们在以下链接中看到查询有 10 分钟的限制，这样会导致进程比一天更快地失败：https://cloud.google.com/appengine/docs/java/cloud-sql/#Java_Size_and_access_limits

我们模块的类和缩放配置是：

<instance-class>B4</instance-class>
<basic-scaling>
    <max-instances>11</max-instances>
    <idle-timeout>10m</idle-timeout>
</basic-scaling>

队列的配置是：

<rate>5/s</rate>
<max-concurrent-requests>100</max-concurrent-requests>
<mode>push</mode>
<retry-parameters>
    <task-retry-limit>5</task-retry-limit>
    <min-backoff-seconds>10</min-backoff-seconds>
    <max-backoff-seconds>200</max-backoff-seconds>
</retry-parameters>

我为 cron 作业上传了一些跟踪数据的图像： http://imgur.com/a/H5wGG。 这包括跟踪摘要和时间线的开始/结束。 8 个终止的任务没有跟踪数据。

这可能是什么原因，我们如何进一步调查？

Answer 1

我们最终通过以下步骤解决了这个问题：

1. 我们将模块拆分为两个模块 - 一个模块运行 cron 作业，另一个模块 一个模块来处理生成的任务。这让我们看到 问题在于处理任务，因为这是唯一的 一直卡住的模块。
2. 我们将并发任务的数量限制为 2，这似乎是在系统不会卡住的情况下可以同时处理的最大任务数量。