【问题标题】:In trio, how can I have a background task that lives as long as my object does?在三重奏中,我怎样才能拥有与我的对象一样长的后台任务?
【发布时间】:2018-06-25 06:08:17
【问题描述】:

我正在编写一个将在其生命周期内产生任务的类。由于我使用的是Trio,因此我无法在没有托儿所的情况下生成任务。我的第一个想法是在我的班级中有一个self._nursery,我可以在其中生成任务。但似乎托儿所对象只能在上下文管理器中使用,因此它们总是在创建它们的同一范围内关闭。我不想从外部传入托儿所,因为它是一个实现细节,但我确实希望我的对象能够生成与对象一样长的任务(例如心跳任务)。

如何使用 Trio 编写这样一个具有长期后台任务的类?

【问题讨论】:

    标签: python async-await python-trio


    【解决方案1】:

    很好的问题!

    Trio 最奇怪、最有争议的决定之一是,它认为后台任务的存在不是实现细节,应该作为一部分公开你的 API。总的来说,我认为这是一个正确的决定,但它肯定有点实验性,并且有一些取舍。

    为什么 Trio 会这样做?以我的经验,其他系统看起来好像你可以抽象出后台任务或线程的存在,但实际上它以各种方式泄漏:它们最终破坏了 control-C 处理,或者当你'重新尝试干净地退出程序,或者当您尝试取消主要操作时它们泄漏,或者您有顺序问题,因为您调用的函数已完成但它承诺的工作仍在后台进行,或者后台任务因意外异常而崩溃,然后异常丢失,随之而来的是各种奇怪的问题......所以虽然它可能会让你的 API 在短期内感觉有点混乱,但从长远来看,如果你明确这一点,一切都会变得更容易。

    另外,请记住,编写和使用 Trio 库的其他所有人都有同样的问题,因此您的 API 不会觉得太奇怪 :-)。

    我不知道你到底想做什么。也许它类似于 websocket 连接,您希望不断地从套接字读取以响应心跳(“ping”)请求。一种模式是执行以下操作:

    @asynccontextmanager
    def open_websocket(url):
        ws = WebSocket()
        await ws._connect(url)
        try:
            async with trio.open_nursery() as nursery:
                nursery.start_soon(ws._heartbeat_task)
                yield ws
                # Cancel the heartbeat task, since we're about to close the connection
                nursery.cancel_scope.cancel()
        finally:
            await ws.aclose()
    

    然后您的用户可以像这样使用它:

    async with open_websocket("https://...") as ws:
        await ws.send("hello")
        ...
    

    如果您想变得更高级,另一种选择是为专家提供一个版本,让您的用户通过自己的苗圃:

    class WebSocket(trio.abc.AsyncResource):
        def __init__(self, nursery, url):
            self._nursery = nursery
            self.url = url
    
        async def connect(self):
            # set up the connection
            ...
            # start the heartbeat task
            self._nursery.start_soon(self._heartbeat_task)
    
        async def aclose(self):
            # you'll need some way to shut down the heartbeat task here
            ...
    

    然后还为那些只想要一个连接并且不想与托儿所搞乱的人提供方便的 API:

    @asynccontextmanager
    async def open_websocket(url):
        async with trio.open_nursery() as nursery:
            async with WebSocket(nursery, url) as ws:
                await ws.connect()
                yield ws
    

    pass-in-a-nursery 方法的主要优点是,如果您的用户想要打开大量 websocket 连接、任意数量的 websocket 连接,那么他们可以在 websocket 管理的顶部打开一个nursery代码,然后里面有很多websockets。

    不过,您可能想知道:您在哪里可以找到这个 @asynccontextmanager?嗯,它包含在 3.7 的 stdlib 中,但还没有推出,所以根据您阅读本文的时间,可能您还没有使用它。在那之前,async_generator 包为您提供@asynccontextmanager 一直到 3.5。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-01-07
      • 2019-09-18
      • 2021-10-24
      • 1970-01-01
      • 1970-01-01
      • 2010-09-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多