Python：串行、线程、多处理。哪种方式最快？

Question

所以我有一个代码需要执行 HTTP 请求（比如说 1000）。到目前为止，我用 3 种方式处理了 50 个 HTTP 请求。结果和代码如下。

最快的是使用线程的方法，问题是我丢失了一些数据（根据我对 GIL 的理解）。我的问题如下：

1. 我的理解是，在这种情况下，正确的方法是使用多处理。有什么办法可以提高这种方法的速度吗？匹配线程时间会很棒。

2. 我猜我拥有的链接数量越多，串行和线程方法所花费的时间就越多，而多处理方法的增长速度会慢得多。您是否有任何来源可以让我估算出运行带有 n 个链接的代码所需的时间？

串行 - 运行时间大约 10 秒

def get_data(link, **kwargs):
    data = requests.get(link)
    if "queue" in kwargs and isinstance(kwargs["queue"], queue.Queue):
        kwargs["queue"].put(data)
    else:
        return data

links = [link_1, link_2, ..., link_n]
matrix = []
for link in links:
    matrix.append(get_data(link))

线程 - 运行时间约为 0.8 秒

def get_data_thread(links):
    q = queue.Queue()
    for link in links:
        data = threading.Thread(target = get_data, args = (link, ), kwargs = {"queue" : q})
        data.start()
    data.join()
    return q

matrix = []
q = get_data_thread(links)
while not q.empty():
    matrix.append(q.get())

多处理 - 运行时间约为 5 秒

def get_data_pool(links):
    p = mp.Pool()
    data = p.map(get_data, links)
    return data

if __name__ == "__main__":
    matrix = get_data_pool(links)

Answer 1

如果我要提出任何建议，我会选择AIOHTTP。代码草图：

import aiohttp
import asyncio

async def main(alink):
    links = [link_1, link_2, ..., link_n]
    matrix = []

    async with aiohttp.ClientSession() as session:
        async with session.get(alink) as resp:
            return resp.data()


if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    
    for link in links:
        loop.run_until_complete(main(link))