有没有办法在抓取页面之前延迟我的网络抓取工具？

Question

这是我的功能：

def clubList(url,yearCode):
    print(url + "/clubs" + yearCode)
    response = requests.get(url + "/clubs" + yearCode)
    time.sleep(10)
    content = response.content
    soup = BeautifulSoup(content, "html.parser")
    cluburl = []
    clubs = []
    ul = soup.find_all(
        "ul",
        attrs={
            "class": "block-list-5 block-list-3-m block-list-1-s block-list-1-xs block-list-padding dataContainer"
        },
    )
    u = str(ul)
    soup2 = BeautifulSoup(u, "html.parser")
    for i, tags in enumerate(soup2.find_all("a")):
        cluburl.append(url + str(tags.get("href")))
    for i in range(0, len(cluburl)):
        cluburl[i] = cluburl[i].replace("overview", "squad")
    return cluburl

我正在尝试爬取英超联赛网站为数据分析项目构建统计数据库。

我当前的链接树看起来像：

https://www.premierleague.com -> https://www.premierleague.com/clubs -> https://www.premierleague.com/clubs?se=418

“?se=418”是我添加到链接中的访问代码，用于指定我想查看哪个赛季的统计数据，每个赛季都有自己的唯一代码。

我将“https://www.premierleague.com”作为 url 和“?se=418”作为 yearCode 传递给我的函数，它应该返回指向该特定赛季各个俱乐部页面的链接列表。 但是，它总是返回当前赛季的俱乐部链接列表。

我注意到，当我直接访问链接 https://www.premierleague.com/clubs?se=418 时，它首先会加载当前赛季的俱乐部，然后会在相应的俱乐部中动态刷新。

所以我认为添加时间延迟可能会解决问题，但我猜它正在解析 requests.get 语句中的页面内容，我不确定我应该在哪里添加延迟以使其正常工作。

这里还有您必须导入才能运行该功能的所有模块：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import locale
import time

locale.setlocale(locale.LC_ALL, "en_US.UTF8")

Answer 1

当您执行季节过滤器时，它使用以下 API：

GET https://footballapi.pulselive.com/football/teams

它需要以下http头来返回数据：account: premierleague和origin: https://www.premierleague.com

以下示例使用API​​获取俱乐部列表，然后提取俱乐部id和俱乐部名称生成俱乐部url：

import requests

season = 418

r = requests.get("https://footballapi.pulselive.com/football/teams", 
    params = {
        "pageSize": 100,
        "compSeasons": season,
        "compCodeForActivePlayer": "null",
        "comps": 1,
        "altIds": "true",
        "page": 0
    },
    headers = {
        "account": "premierleague",
        "origin": "https://www.premierleague.com"
    }
)

data = r.json()
print([
    f'https://www.premierleague.com/clubs/{int(t["club"]["id"])}/{t["club"]["name"].replace(" ","-")}/squad'
    for t in data["content"]
])