Python 解释器在异步操作中将控制权交还给 C 调用者

Question

这适用于网络守护程序，其中每个传入请求都通过解释器运行，具有轻量级的特定于请求的堆栈。解释器允许请求在等待阻塞 I/O 操作时让出控制权。通过这种方式，请求的操作与其他语言中的协程非常相似。单个 POSIX 线程可能有数千个处于已屈服或可运行状态的请求，但只有一个请求在积极取得进展。

使用 Lua 等其他嵌入式语言，可以将控制权交还给 C 调用者。这也是 NGINX 使用 Lua 作为其嵌入式脚本语言的原因之一。

我想知道是否有一种方法可以在 Python 线程等待异步满足条件时实现与 Python 类似的功能。

我认为 Python 将异步条件的细节暴露给 C 调用者，并让 C 调用者在条件满足时通知 Python 解释器是不现实的。但即使 Python 在没有关于异步条件的信息的情况下返回控制，它也可能允许 C 调用者将多个 Python 线程状态用作绿色线程。

这个想法是为每个请求附加一个线程状态，并让 python 解释器在特定线程和请求可运行时通知 C 调用者。最明显（但可能是最糟糕/最幼稚）的方法是 C 调用者轮询 Python 解释器，允许 Python 检查是否满足任何异步条件，并返回可运行线程状态的列表。然后 C 调用者将切换到可运行线程状态，并调用 Python 解释器继续执行。

如果您对此提出任何想法，我将不胜感激。即使知道 Python 协程是否有可能让位于 C 调用者，并让 C 调用者恢复协程也是有用的。

编辑

不建议在单独的进程中运行 Python 并通过管道或网络套接字向它发送请求。那是作弊。

编辑 2

看起来其他人实现了与我在 Emscripten 和 Python 之间建议的类似机制。

https://github.com/emscripten-core/emscripten/issues/9279

Answer 1

一个潜在的解决方案是使用 asyncio 的 run_coroutine_threadsafe() 函数。

对于每个应用程序线程，您都有一个影子 Python 解释器线程。这些是共享解释器的独立操作系统线程，但具有独立的PyThreadStates。

在 Python 线程中，您创建一个新的事件循环，将循环对象的引用写入共享变量，并在安装适当的机制后调用 loop.run_forever() 以优雅地停止循环。

在应用程序线程中，您将模块调用包装到要在协程中运行的 Python 脚本，并使用 asyncio.run_coroutine_threadsafe() 将它们提交给 Python 解释器线程（使用来自共享变量的句柄）。应用程序线程将回调添加到它通过add_done_callback 接收的Future。 然后应用程序请求被产生，这意味着它的执行被暂停，应用程序线程可以处理一个新的应用程序请求。

add_done_callback 回调调用应用程序 C 函数，该函数向应用程序线程发出信号，表明特定应用程序请求的处理已完成。然后将应用程序请求放回应用程序的可运行队列以继续执行。

我将在获得完整、完善的解决方案后更新答案，并且我已经全面测试了有问题的线程不安全方面。但就目前而言，这似乎是一个可行的解决方案。