Asyncio 运行返回结果的任务

Question

我来自 C# 背景，Python 的 Asyncio 库让我很困惑。

我已经阅读了以下12，但我仍然不清楚 asyncio 的使用。

我正在尝试用python制作一个异步网站scraper。

async def requestPage(url):
    request = requests.get(url, headers=headers)
    soup = BeautifulSoup(request.content, 'html.parser')
    return soup


async def main():

    #****** How do I run an async task and store its result to use in another task?
    index_soup = asyncio.ensure_future(requestPage(index_url))
    res = asyncio.gather(index_soup)
    currency_urls = res.select('a[href^="/currencies"]')

    print(currency_urls)


loop = asyncio.get_event_loop()

try:
    
    loop.run_until_complete(main())
finally:
    loop.close() 

Answer 1

由于requests库不是异步的，你可以使用run_in_executor方法，这样就不会阻塞正在运行的线程。结果，您可以将requestPage 定义为常规函数并在main 函数中调用它，如下所示：

res = await asyncio.gather(loop.run_in_executor(None, requestPage, url)

阻塞函数将在单独的执行器中运行，而控制将返回给事件循环。

或者您可以尝试使用异步 HTTP 客户端库，例如 aiohttp。

Answer 2

好的，我想我找到了一个基本的解决方案。

async def requestPage(url):
    request = requests.get(url, headers=headers)
    soup = BeautifulSoup(request.content, 'html.parser')
    return soup


async def getValueAsync(func, param):
    # Create new task
    task = asyncio.ensure_future(func(param))
    # Execute task. This returns a list of tasks
    await asyncio.gather(task)
    # Get result from task
    return task.result()

async def main():
    soup = await getValueAsync(requestPage, index_url)
    print(val.encode("utf-8"))


loop = asyncio.get_event_loop()

try:

    loop.run_until_complete(main())
finally:
    loop.close() 

我写了一个包装器，它允许我异步调用函数并存储结果。