将优化系统作为 Web 应用程序服务的良好实践 [关闭]

Question

我在做什么

我正在使用遗传算法开发优化系统；刚刚在 JupyterNotebook 上完成 PoC 并将其作为 Web 应用程序与 Python3 一起使用。 这个优化过程需要大量的计算资源来评估每个候选染色体，所以我打算采用并行分布式处理。

如何运作

下面显示了这个系统将如何工作（正在计划中）。

1. 用户从浏览器上传带有参数的文件并保留优化
2. 系统将优化作业排队
3. 系统在浏览器上显示保留的作业列表和优化结果

我的计划和问题

这里显示了我的计划（我不熟悉网络应用程序）。

1. 请求上传 API 并将参数保存在 DB 和 pickle 中
2. 每隔 n 分钟使用 cron 检查是否有任何保留的优化作业
3. 根据需要执行优化并将结果保存到数据库并更新作业状态（等待 -> 完成）

我认为这会起作用，但我不确定这是否好。 您知道这样做的良好架构实践吗？

Answer 1

我认为有一个 cron 工作会使订单流程复杂化并且效率低下。尝试使用消息代理（例如 rabbit-mq）和 celery 来安排和运行作业。