Python - 使用 Splash 和 BS4 刮取电影标题

Question

我尝试使用 Python 创建我的第一个脚本。我正在使用 Splash 和 BS4。

我按照约翰·沃森·鲁尼 (John Watson Rooney) 的教程学习（但有自己的目标）：How I Scrape JAVASCRIPT websites with Python

我的目标是抓取这个网站调查：Best movies of 2020

这是我的问题：它多次呈现相同的标题，但列表中最多有 6 个重复项，没有任何逻辑顺序。有时渲染不到 100 行，有时更多？

我想要什么：

• 获取 100 个标题，按顺序
• 以 .csv 格式导出。

这是我的代码：

import requests
import csv
from bs4 import BeautifulSoup

url = 'https://www.senscritique.com/top/resultats/Les_meilleurs_films_de_2020/2582670'

r = requests.get('http://localhost:8050/render.html',
                 params={'url': url, 'wait': 2})

soup = BeautifulSoup(r.text, 'html.parser')

podium = soup.find_all('li', class_="elpo-item")
podium_list = []

for titres in podium:
    for titles in soup.find_all('h2'):
        podium_list.append(titles.text)

for liste in podium_list:
    print(liste)

问题：

• 如何只抓取 100 个标题？我错过了什么？
• 我的代码是否正确，如何优化？
• Splash 真的很适合我使用吗，还是有其他更简单的库来抓取 JS 网站？

对于 .csv 部分，我现在将自己尝试，但如果您有任何提示，我当然会听到！

感谢您的帮助。

Answer 1

页面实际上是动态加载的，至少是接下来的 50 部电影，因此您必须向不同的端点发出请求。

方法如下：

import requests
from bs4 import BeautifulSoup


headers = {
    "Referer": "https://www.senscritique.com/top/resultats/Les_meilleurs_films_de_2020/2582670",
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
    "X-Requested-With": "XMLHttpRequest",
}

titles = []
for page in range(1, 3):
    url = f"https://www.senscritique.com/sc2/top/resultats/2582670/page-{page}.ajax?limit=1000"
    soup = BeautifulSoup(requests.get(url, headers=headers).text, "html.parser").find_all("li", {"class": "elpo-item"})
    titles.extend(i.find("h2").getText(strip=True).replace("(2020)", "") for i in soup)

for title in titles:
    print(title)

输出：

1917
Jojo Rabbit
The Gentlemen
Uncut Gems
Tenet
Le Cas Richard Jewell
Dark Waters
En avant
Drunk
Les Filles du docteur March
Adieu les cons
Invisible Man
Play
Les Enfants du temps
L'Adieu
La Plateforme
Séjour dans les monts Fuchun
The King of Staten Island
Été 85
Birds of Prey (et la Fantabuleuse Histoire de Harley Quinn)
La Communion
and so on...

顺便说一句，电影是按顺序排列的。