Python中的基本网络抓取[关闭]

Question

我在使用 Python 进行网络抓取方面需要您的帮助。我想在下面抓取这个网站，以获取从今天起 365 天前的一些信息。但我无法正确更改 URL。我只有第一天。这是我的第一个项目，我被卡住了。

我的网址： https://crossfit.com/workout/2017/11/04

我要获取的网址： https://crossfit.com/workout/2017/11/03

等等。

这是我的实际代码：

from bs4 import BeautifulSoup as bs
from time import sleep
from datetime import date, datetime, timedelta

base_url = 'https://www.crossfit.com/workout/'
count = 365
scrape_date = date.today()
sleep(2)
bs_obj = bs(driver.page_source, 'html.parser')
boxes = bs_obj.find_all('div',{'class':'wod active'})

for i in range(count):
    url = base_url + scrape_date.strftime('%Y/%m/%d')
    for box in boxes:
            dia = box.find('h1').text
            wod = box.find('p').text
    scrape_date -= timedelta(days=1)

print(dia, wod)

Answer 1

我建议您查看 BeautifulSoup python 库。您必须在您的计算机上安装该模块，但它可能是最广泛使用和最用户友好的网络抓取库。

此外，它还有大量文档，以及大量示例，因为有很多人使用它。

希望对您有所帮助。祝你好运。

Answer 2

抓取该网站的最简单方法是使用 datetime 数学。如果您需要更多资源，Google 和 the documentation 是您的朋友。

from datetime import date, datetime, timedelta

URL_BASE = "https://www./crossfit.com/workout/"
count = 365
scrape_date = date.today()
for i in range(count):
    url = URL_BASE + scrape_date.strftime("%m/%d/%Y")

    # Do your scraping here....

    scrape_date -= timedelta(days=1)
    count -= 1