我想从网站自动抓取 1 到 10 页的数据。我该怎么做？

Question

import requests
from bs4 import BeautifulSoup
My_Url = "http://questions.consumercomplaints.in/page/2"
Data = requests.get(My_Url)
Soup = BeautifulSoup(Data.content)
head_id = Soup.find_all({"div":"href"})
len(head_id)
for i in head_id:
    print i.text 

从上面的代码中，我从网页 2 中删除（评论/投诉）。 我如何自动抓取所有页面的数据（http://questions.consumercomplaints.in/page/3）

Answer 1

为什么不在一个范围内的 for 循环中包围你的函数呢？

import requests
from bs4 import BeautifulSoup
for i in range(3,11):
    My_Url = "http://questions.consumercomplaints.in/page/" + str(i)
    Data = requests.get(My_Url)
    Soup = BeautifulSoup(Data.content)
    head_id = Soup.find_all({"div":"href"})
    len(head_id)
    for i in head_id:
        print i.text 

看看范围函数是如何工作的here。