使用python的beautifulSoup库从IMDB网站上抓取电影评论[重复]答案

【问题标题】：Scraping Movie Reviews from IMDB website using beautifulSoup library of python [duplicate]使用python的beautifulSoup库从IMDB网站上抓取电影评论[重复]
【发布时间】：2021-06-11 15:04:49
【问题描述】：

我想从 IMDB 网站上抓取特定电影的所有评论。我也使用了 BeautifulSoup 包的“Html-parser”。

Link

考虑这个链接，我想抓取这部电影的所有电影评论（即 Total = 69），但由于页面上可以看到 25 条评论，所以 Soup 将只提取 25 条评论而不是这里的 Total 评论。

我的代码：

url = "https://www.imdb.com/title/tt6654210/reviews?ref_=tt_ov_rt"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
review_list = getReviewsList(soup)
len(review_list)

输出：

我对网络抓取很陌生，如果有人能帮助我，我将不胜感激。

【问题讨论】：

标签： python web-scraping beautifulsoup imdb

【解决方案1】：

如果你想抓取一个页面，首先你必须了解它是如何工作的，使用开发工具检查并分析网络调用，然后你必须模拟你需要的调用。

在这种情况下，页面使用 ajax 以分页方式获取评论

你必须打电话：

https://www.imdb.com/title/tt6654210/reviews/_ajax?ref_=undefined&paginationKey=g4wp7dreqyzd4zql7kvh3obyrtum6az4y4hhzo5ziwr26fbyhvrl4ty4o4yvzmjkcrxndtvd7hmf6y6yefcmwoi6hkwovare

分页键由以下标签在页面中提供：

<div class="load-more-data" data-key="g4wp7dreqyzd4zql7kvh3obyrtum6az4y4hhzo5ziwr26fbyhvrl4ty4o4yvzmjkcrxndtvd7hmf6y6yefcmwoi6hkwovare" data-ajaxurl="/title/tt6654210/reviews/_ajax">

希望对你有所帮助

【讨论】：