Scraping Metacritic：使用条件通过 Rvest 刮取节点

Question

我正在编写一个代码来抓取https://www.metacritic.com/game/playstation-4/red-dead-redemption-2/user-reviews的所有评论。

由于长 cmets 出现“展开”按钮，我在 抓取 cmets 时遇到了困难。

我已设法刮取长 cmets，但无法刮取所有其他的：

review <- html_text(html_nodes(webpage,'span[class="blurb blurb_expanded"]'))

我找到了一个使用 Beautifulsoup 的代码，但在 Rvest 上做同样的事情却一无所知

if review.find('span', class_='blurb blurb_expanded'):
        review_dict['review'].append(review.find('span', class_='blurb blurb_expanded').text)
    else:
        review_dict['review'].append(review.find('div', class_='review_body').find('span').text)

你如何在 Rvest 上做类似的事情？您如何为要 scrape 的内容添加条件？您如何刮取所有未扩展的 cmets？

谢谢！！

Answer 1

您不需要条件逻辑。您确实需要一个用户代理标头。然后您可以选择产品评论（product_reviews 类）下的类评论（review_body）。使用html_text2()，您可以为br 元素保留良好的格式。

library(httr)

headers <- c( "user-agent" = "Mozilla/5.0")

r <- httr::GET(url = "https://www.metacritic.com/game/playstation-4/red-dead-redemption-2/user-reviews", httr::add_headers(.headers = headers)) %>%
  content()

reviews <- r %>% html_elements('.product_reviews .review_body') %>% html_text2() %>% lapply(. ,function(x){gsub('… Expand','',x)})