Python 中的异步 HTTP 调用

Question

我需要 Python 中的回调类型的功能，我多次向 Web 服务发送请求，每次都更改参数。我希望这些请求同时发生而不是顺序发生，所以我希望函数被异步调用。

看起来 asyncore 是我可能想要使用的，但我所看到的关于它如何工作的示例看起来都有些矫枉过正，所以我想知道我是否应该走另一条路。关于模块/流程的任何建议？理想情况下，我想以程序方式使用这些而不是创建类，但我可能无法解决这个问题。

Answer 1

从 Python 3.2 开始，您可以使用 concurrent.futures 来启动并行任务。

查看这个ThreadPoolExecutor 示例：

http://docs.python.org/dev/library/concurrent.futures.html#threadpoolexecutor-example

它产生线程来检索 HTML 并在收到响应时对其进行操作。

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://some-made-up-domain.com/']

# Retrieve a single page and report the url and contents
def load_url(url, timeout):
    conn = urllib.request.urlopen(url, timeout=timeout)
    return conn.readall()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

上面的例子使用了线程。还有一个类似的ProcessPoolExecutor 使用进程池，而不是线程：

http://docs.python.org/dev/library/concurrent.futures.html#processpoolexecutor-example

import concurrent.futures
import urllib.request

URLS = ['http://www.foxnews.com/',
        'http://www.cnn.com/',
        'http://europe.wsj.com/',
        'http://www.bbc.co.uk/',
        'http://some-made-up-domain.com/']

# Retrieve a single page and report the url and contents
def load_url(url, timeout):
    conn = urllib.request.urlopen(url, timeout=timeout)
    return conn.readall()

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

Answer 2

你知道eventlet吗？它允许您编写看似同步的代码，但让它在网络上异步运行。

这是一个超极小爬虫的例子：

urls = ["http://www.google.com/intl/en_ALL/images/logo.gif",
     "https://wiki.secondlife.com/w/images/secondlife.jpg",
     "http://us.i1.yimg.com/us.yimg.com/i/ww/beta/y3.gif"]

import eventlet
from eventlet.green import urllib2

def fetch(url):

  return urllib2.urlopen(url).read()

pool = eventlet.GreenPool()

for body in pool.imap(fetch, urls):
  print "got body", len(body)

Answer 3

Twisted framework 就是一张票。但是如果你不想这样做，你也可以使用 pycurl，libcurl 的包装器，它有自己的异步事件循环并支持回调。

Answer 4

（虽然这个线程是关于服务器端 Python。因为这个问题是不久前被问到的。其他人可能会偶然发现这个问题，他们正在客户端寻找类似的答案）

对于客户端解决方案，您可能需要查看 Async.js 库，尤其是“控制流”部分。

https://github.com/caolan/async#control-flow

通过将“平行”与“瀑布”相结合，您可以获得您想要的结果。

WaterFall( Parallel(TaskA, TaskB, TaskC) -> PostParallelTask​​)

如果您检查 Control-Flow - “Auto” 下的示例，他们会为您提供上述示例： https://github.com/caolan/async#autotasks-callback 其中“write-file”取决于“get_data”和“make_folder”，“email_link”取决于 write-file”。

请注意，所有这些都发生在客户端（除非您正在使用 Node.JS - 在服务器端）

对于服务器端 Python，请查看 PyCURL @https://github.com/pycurl/pycurl/blob/master/examples/basicfirst.py

下面的例子结合pyCurl，可以实现非阻塞多线程的功能。