带有 MongoDB 结果后端和 Neo4j 存储的 Celery

Question

我有一些 Celery 工作人员将他们的结果存储在 MongoDB 后端。这似乎工作得很好。但是，我还需要将唯一的 taskID（以及其他一些任务结果元数据）存储在 Neo4J 图形数据库中。

我的主要目标是从 Neo4J 中获得对任务结果的引用，而不会被成千上万的结果弄得一团糟。因此，Neo4J 为任务结果提供了可视化功能。

我需要一些关于使用 Celery 实现这一目标的最佳方法的建议。

以下是我一直在玩弄的一些选项：

1. 使用 Celery 的子任务并创建由单独的工作人员处理的单独任务，以将数据发送到 Neo4J。
2. 使用 Celery 的 HTTP 回调任务 (Webhook) 将数据直接发布到 Neo4J 的 REST API
3. 扩展主要任务以包括对 Neo4J 的 REST API 的调用

Answer 1

将对 Neo4J 的调用作为子任务排队提高 granularity of tasks，但要权衡一致性（Neo4J 中的数据将赶上 MongoDB 中的数据）。

您可以继承 celery.Task 并覆盖 celery.Task.after_return，以便将 task_id 保存到 Neo4J。请注意，retval 可能是未捕获的异常。