使用 ThreadPoolExecutor 跨多个页面抓取

Question

我需要了解在使用 ThreadPoolExecutor 对页面进行迭代抓取时什么不起作用：

with ThreadPoolExecutor(max_workers=10) as executor:
    with requests.Session() as req:
        fs = [executor.submit(main, req, num) for num in range(1, 2050)]
        allin = []
        for f in fs:
            f = f.result()
            if f:
                allin.extend(f)
                print("\n", allin)
       

我想在特定链接的所有页面上抓取一些信息（标题、摘要和日期）。上面的代码提交了主派。我在运行时没有收到任何错误，但缺少新闻/页面。

import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor
import pandas as pd


def main(req, num):
    r = req.get(
        website+"/pag/{}/".format(num))
    soup = BeautifulSoup(r.content, 'html.parser')
    stories = soup.select("div.story-content-pull")
    data = []
    for story in stories:
        row = []
        row.append(story.select_one('a').text)
        row.append(story.select_one('p').text.strip())
        row.append(story.select_one('time').text)
        data.append(row)
        return data

如果您能告诉我代码中的问题，那将非常有帮助。

Answer 1

我认为这可能与您使用ThreadPoolExacutor 的方式有关。我已经清理并简化了您的代码。此外，还有2050 页面，但您的代码中缺少一个，因为range() 的停止值是专有的。

试试这个：

from concurrent.futures import ThreadPoolExecutor

import requests
from bs4 import BeautifulSoup


def main(num):
    page = requests.get("https://www.cataniatoday.it/cronaca/pag/{}/".format(num))
    stories = BeautifulSoup(page.content, 'html.parser').select("div.story-content-pull")
    return [
        [
            story.select_one('a').text,
            story.select_one('p').text.strip(),
            story.select_one('time').text,
        ] for story in stories
    ]


if __name__ == "__main__":
    with ThreadPoolExecutor(max_workers=10) as executor:
        for result in [executor.submit(main, num) for num in range(1, 2051)]:
            print(result.result())
            # do more stuff here

这会按照文章在网站上的顺序解析文章。使用较小的页面范围进行测试，例如 1 - 6。