如何使用 boto3 和 asyncio 查询 aws 资源？这可能吗？

Question

我有一个现有的代码，它一个接一个地向 AWS 查询资源，并根据资源名称进行过滤。当前的实现是线性的，从每个资源的一个功能转移到下一个功能，创建各自的客户端并使用客户端查询 aws。这当然会耗费大量时间。是否可以以异步方式运行这些功能中的每一个？代码流看起来像下面的 sn-p，有更多的资源查询。 任何意见/建议都会有所帮助。

def query_acm():
    client = boto3.client('acm', region_name=region)
    client.get_paginator('list_certificates')
    # filter and write to file
def query_asg():
    client = boto3.client('autoscaling', region_name=region)
    paginator = client.get_paginator('describe_auto_scaling_groups')
    # paginate filter and write to file
def main():
    query_acm()
    query_asg()

Answer 1

可以并行运行它们，但为此我建议您使用 python 内置的易于使用的 concurrent.futures 库。

from concurrent.futures import ThreadPoolExecutor, as_completed
import boto3

def query_acm():
    client = boto3.client('acm', region_name=region)
    client.get_paginator('list_certificates')
    # filter and write to file
def query_asg():
    client = boto3.client('autoscaling', region_name=region)
    paginator = client.get_paginator('describe_auto_scaling_groups')
    # paginate filter and write to file

def main():

    with concurrent.futures.Executor() as executor:
        futures = [executor.submit(query_acm), executor.submit(query_asg)]

    for f in as_completed(futures):
        # Do what you want with f.result(), for example:
        print(f.result())

您也可以为每个函数调用传递参数并获取响应。 Read more 或在 concurrent.futures 上关注 some examples。