使用 Python 抓取 TripAdvisor 酒店页面 [关闭]答案

【问题标题】：Scrape TripAdvisor Hotel Page with Python [closed]使用 Python 抓取 TripAdvisor 酒店页面 [关闭]
【发布时间】：2018-09-19 14:05:22
【问题描述】：

我目前正在构建一个抓取工具来获取评论和评分。

它适用于餐厅，但它给我 400 的酒店

这是代码：https://gist.github.com/jamieaitken/e6df15db9f1204fe67c16f1404996c6f

【问题讨论】：

请出示一些尝试抓取的证据。
有趣的事实：request('GET', url=urlNotWork) 确实有效。所以我猜标题有问题...
@yogkm 更新了帖子，以便所有代码都在一个要点中
@meissner_ 你能把它作为答案发布吗？非常感谢

标签： python scrape tripadvisor

【解决方案1】：

嗯，常规请求在这里应该可以正常工作，例如：

from requests import request as req

url = 'https://www.tripadvisor.co.uk/Hotel_Review-g60745-d121009-Reviews-Holiday_Inn_Express_Boston-Boston_Massachusetts.html'
rsp = req('GET', url)

if rsp.status_code == 200:
    print(rsp.text.encode('utf-8'))

【讨论】：