在 Tornado 协程中使用常规 Python 生成器

Question

Python 生成器是一个很棒的功能。它允许我对复杂的、可能是递归的遍历逻辑进行编码，并将其与用户分离。通常我像下面这段代码一样使用它

TREE = {
  1: [2,3],
  2: [],
  3: [4,5],
  4: [6],
  5: [],
  6: []
  }   

def query_children(node):
    return TREE[node]

def walk_tree(root):
    # recursive tree traversal logic
    yield root
    children = query_children(root)
    for child in children:
        for node in walk_tree(child):
            yield node

def do_something():
   # nice linear iterator
   for node in walk_tree(root):
       print(node)

Tornado 使用生成器实现协程，这也是构建没有回调的异步函数的好方法。

但是，当我尝试同时使用这两种方法时，我可能会感到困惑。

@gen.coroutine
def query_children(node):
    ...
    raise gen.Return(children)


def walk_tree(root):
    # recursive tree traversal logic
    yield root
    children = yield query_children(root)
    for child in children:
        for node in walk_tree(child):
            yield node


def do_something():
   # nice linear iterator
   for node in walk_tree(root):
       print(node)

在新的 walk_tree 中，第一个收益是常规 Python 收益。第二个收益是 Tornado 的。他们可以一起工作吗？

Answer 1

我得到这个工作。我没有在非协程walk_tree() 中使用yield，而是通过调用IOLoop.run_sync 来同步运行它。我是龙卷风新手。因此，如果这是一个合法的解决方案或者是否有任何其他更好的方法，请发表评论。

TREE = {
  1: [2,3],
  2: [],
  3: [4,5],
  4: [6],
  5: [],
  6: []
  }   

@gen.coroutine
def query_children_async(node):
    raise gen.Return(TREE[node])

# this is a regular Python generator
def walk_tree(root):
    # recursive tree traversal logic
    yield root
    # call .result() of the Future
    children = IOLoop.instance().run_sync(lambda: query_children_async(root))
    for child in children:
        for node in walk_tree(child):
            yield node

@gen.coroutine
def do_something(root):
    # just collect the result
    result = [node for node in walk_tree(root)]
    raise gen.Return(result)

编辑 1. 使用.result() 的原始提案不起作用。我有 当我有一个“DummyFuture 不支持阻止结果”时 不平凡的query_children_async()。

Answer 2

Python 生成器协议基于同步接口；不可能像协程一样使用异步代码作为生成器的一部分来与for一起使用（协程最重要的规则：任何调用协程的东西也必须是协程，或者至少知道协程。for 语句对它们一无所知，它就是你的生成器）。相反，我建议使用tornado.queues.Queue:

@gen.coroutine
def query_children(node):
    ...
    raise gen.Return(children)


def walk_tree(queue, root):
    # recursive tree traversal logic
    yield root
    children = yield query_children(root)
    for child in children:
        for node in walk_tree(child):
            yield queue.put(node)
     yield queue.put(None)


def do_something():
    queue = tornado.queues.Queue()
    IOLoop.current().spawn_callback(walk_tree, queue, root)
    while True:
        node = yield queue.get()
        if node is None:
            break
        print(node)