芹菜：可以从内部函数创建任务吗？

Question

我有一个芹菜任务：

@task
def foo():
  part1()
  part2()
  part3()

...我正在分解成一系列子任务

@task
def foo():
  @task
  def part1():
    ...

  @task
  def part2():
    ...

  @task
  def part3():
    ...

  chain(part1.s(), part2.s(), part3.s()).delay()

子任务是内部函数，因为我不希望它们在父任务的上下文之外执行。问题是我的工作人员没有检测和/或注册内部任务（我使用autoregister 来发现应用程序和任务模块）。如果我将它们移到模块中与父任务foo 相同的级别，则可以正常工作。

celery 支持内部函数作为任务吗？如果是这样，我如何让工人注册？

Answer 1

您的代码的问题是每次调用foo() 时都会得到part1 的新定义。另请注意，在您调用 foo 之前不会创建单个 part1 函数，因此 celery 无法在初始化工作线程时注册要创建的任何 part 函数。

我认为以下代码最接近您想要的。

def make_maintask():
    @task
    def subtask1():
        print("do subtask")

    # ...

    @task
    def _maintask():
        chain(subtask1.si(), subtask2.si(), subtask3.si()).delay()

    return _maintask


maintask = make_maintask()

这样，subtask 等的每个定义从外部是不可见的。

一些cmets

• 如果您只想隐藏subtask，请三思。 python 语言的设计者并不认为需要像 java 中那样需要公共和私有的访问控制。这是一种使语言严重复杂化的功能，具有可疑的优势。我认为组织良好的包和模块以及好的名称（例如在前面添加下划线）可以解决您的所有问题。

• 如果_maintask 所做的只是将子任务委托给其他子进程，那么您实际上不需要将其定义为 celery 任务。除非你真的需要，否则不要让一个 celery 任务调用另一个 celery 任务。