如何管理 Web 应用程序中的长流程

Question

我正在尝试在 Go 中实现以下功能。

我有一个带有表单的网页，用于上传 .csv 文件。 Gorilla mux 用于路由到一个处理程序，该处理程序获取文件并对其进行解析，对数据进行一系列操作，最后生成一个报告，其中包含解析的行数、被拒绝的行数等。

我的问题是，即使它可以在我的机器上运行，但在服务器上，Apache 会在我完成所有操作之前超时：文件上传本身不是问题，但我必须等待转换关于要完成的数据。

我尝试使用 Gorilla websocket 从进程中获取反馈（例如，增加解析和处理的行数）并保持连接打开，但这是一个 POST 请求，Gorilla websocket 不会从除非有 GET 请求，否则 http 到 websocket。

我什至不确定我是否在使用 websockets 做这类事情的正确轨道上。

我可以有一个处理本身的 goroutine 并在 goroutine 完成之前返回处理程序，但是我如何在 UI 中显示处理的结果？

所以在这个阶段，我的问题归结为：在 Go 中，当您需要时，最好的方法是什么：

• 上传文件，
• 等待漫长的过程完成
• 并在网页中显示结果？

非常感谢您提供有关正确方向的线索。

Answer 1

您偶然发现了一个重要的问题。有很多可能的解决方案，具有不同的用户体验、实现复杂性和副作用。这是一个相当大的话题，所以这个答案主要是作为进一步研究的起点。

最简单的选择

首先，无论解决方案如何，您都必须为每个长时间运行的任务提供一个唯一 ID，浏览器可以使用该 ID 稍后获取状态更新。任务运行器本身可以将作业标记为已完成，或者如果您想向用户显示进度，它可以定期发布进度更新。

最容易实现的方法可能是让您的表单提交立即响应一个页面，其中包含在 URL 中的任务 ID，其处理程序检查任务状态，然后 a) 返回一个“仍在工作”或其他内容的页面该效果并在几秒钟后自动刷新，或者 b) 返回一个显示“已完成”且不刷新的页面。这不是很难实现，但也不是特别顺利。如果这是一个简单的内部使用项目，具有简单的 UX 和操作要求，我会这样做。否则，我们就往兔子洞深处走！

实时更新

您可以通过几种不同的方法在不重新加载页面的情况下进行实时更新：

• 定期 AJAX 请求检查任务状态，根据响应更新 UI。这将在后端有一个 REST 样式的处理程序。
• 您可以使用 WebSockets 通过单个连接执行相同的操作。
• 您可以使用 HTTP 长轮询来模拟类似 WebSocket 的行为，但这通常已被 WebSockets 取代。

任何一个选项都需要一个处理程序来提供状态更新信息，以及前端的一些 JavaScript 向导来调用处理程序、解析响应和更新页面。

副作用

根据此服务的规模和要求，有一些副作用需要考虑；主要是长时间运行的任务实际上是一种应用程序状态，使您的应用程序有状态，这在可用性、扩展性和部署方面具有一些严重的操作缺点。如果您正在运行多个负载均衡的实例，您将不得不使用粘性会话或以某种方式在实例之间共享任务状态。

大规模处理长时间运行的任务的最常见方法是将工作程序与 Web 应用程序分开，使用某种工作队列（在数据库中或在 Rabbit 或 Kafka 等专用消息代理中）来管理任务.这使得获取状态更新变得有点复杂，因为您是跨流程工作的，但它在操作上为您提供了更多的灵活性。

我猜这是一个比您预期的“请求超时”更复杂的答案，但这是一个具有非平凡解决方案的平凡问题的案例。您当然不是唯一一个解决这个问题的人。研究在 Web 应用程序中处理长时间运行的任务将产生大量可供您利用的信息。