如何使用 Python 抓取多个评论页面？

Question

我有一个关于网络爬虫的问题。 我想获得几个使用 Python 的评论页面。

这是我的网络爬虫代码。

URL = 'https://www.example.co.kr/users/sign_in'

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
headers = {'Content-type': 'application/json', 'Accept': 'text/plain', 'User-Agent':user_agent}
login_data = {'user':{'email':'id', 'password':'password', 'remember_me':'true'}}

client = requests.session()
login_response = client.post(URL, json = login_data, headers = headers)
print(login_response.content.decode('utf-8'))

jre = 'https://www.example.co.kr/companies/reviews/ent?page=1'
index = client.get(jre)
html = index.content.decode('utf-8')
print(html)

此代码仅获取 page=1，但我想获取 page=1, page=2, page3 .... 使用格式方法。我怎样才能做到这一点？

Answer 1

您应该在每个页面上使用 while 或 for 循环，具体取决于您的需要。 试试这样的模式：

page = 1
while page <= MAX_PAGE or not REACHED_STOPPING_CONDITION:

  # Compose page url
  jre = f'https://www.example.co.kr/companies/reviews/ent?page={page}'
  # Get page url
  index = client.get(jre)

  # Do stuff...

  # Increment page counter
  page += 1

我认为一旦您访问了网站，您就没有必要再次登录。如果需要，您应该将登录部分插入循环中。

另一种浏览网站页面的方法是在文档中找到一种“下一页”或“上一页”引用，然后与它们进行交互：

# Compose page url
jre = 'https://www.example.co.kr/companies/reviews/ent?page=1'
# Get page
index = client.get(jre)

while page <= MAX_PAGE or not REACHED_STOPPING_CONDITION:

  # Do stuff...

  # Search next page element (ex. by CSS selector)
  jre.find_element_by_css_selector('next-page').click()
  # Increment page counter
  page += 1