使用 BeautifulSoup 抓取 Stack Overflow 不会返回任何结果

Question

我这里有以下代码：

url = f"https://stackoverflow.com/search?q=%22python+help%22"
async def scrape():
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as r:
            soup = BeautifulSoup(await r.read(), features="lxml")

    questions = soup.findAll("div", {"class": "flush-left js-search-results"})[0]

asyncio.run(scrape())

但它会返回一个IndexError 用于提问。尽管当我检查页面时，它显然有一个 div 类 flush-left js-search-results。

Answer 1

你可以下载整个stackoverflow数据库，here

或者使用 cmets 中提到的 APi。