多个http get和post

Question

任务是：

1)send an http get to url based on a parameter
2)Modify the response based on the same parameter
3)send an http post to url based on the same parameter

我目前是通过requests库来做这个的，但是一个一个做这个需要很多时间，最多可以达到20000个。

我尝试了multiprocessing，但由于某种原因，它在发送 5000-10000 次获取和发布后挂起。

我读到了 grequest，但上面写着 Order of these responses does not map to the order of the requests you send out..我需要订单，因为我必须根据我发送的 get 修改每个回复。

这里最好的选择是什么？我也读过关于 threading,tornado 的文章，但是由于我用 multiprocessing 搞砸了我的第一个方法，我想在再次开始之前确定一下

Answer 1

这是一个解决方案，它允许您使用 grequest 的 imap（理论上比 grequest 的 map 函数更快）并知道一个索引来映射对请求的响应。归功于question asked on the project's GitHub issues。

from functools import partial

def callback(index, response, **kwargs):
    response.image_index = index

rs = [
    grequests.get(
        url,
        callback=partial(callback, index)
    )
    for index, url in enumerate(urls)
]

您应该能够根据自己的需要进行调整。

编辑： 我成功地使用了hooks。

grequests.get(
        url,hooks={'response': partial(process_response, index)})