当网页中的 javascript 呈现内容时，使用 R 和 rvest 进行网页抓取

Question

我正在尝试抓取网页https://www.filmweb.no/kinotoppen/ 以获取每部电影下的标题和其他信息。对于其他网页，我可以使用 SelectorGadget 运行几行 html_nodes() 和 html_text() 来选择 CSS 选择器来获得我想要的不同内容：

html <- read_html("https://www.filmweb.no/kinotoppen/")
title <- html %>% 
  html_nodes(".Kinotoppen_MovieTitle__2MFbT") %>% 
  html_text()

但是，在此网页上运行这些行时，我只会得到一个空字符向量。在进一步检查网页后，我发现它正在调用 javascripts。 我尝试将 html_nodes("script") 与 v8 库一起使用来运行 javascripts，但无济于事。我也不确定要运行哪些脚本，所以我尝试了所有这些：

ct <- v8()
ct$eval(scripts[3])

一般来说，有没有更简单的方法可以让网页变成我可以使用 rvest 的形式？ 我对javascript一无所知。

Answer 1

这是使用 RSelenium 加载页面的样子。

library(rvest)
library(RSelenium)
remDr <- rsDriver(browser='chrome', port=4444L)
brow <- remDr[["client"]]
brow$open()
brow$navigate("https://www.filmweb.no/kinotoppen/")
h <- brow$getPageSource()
h <- read_html(h[[1]])
h %>% html_nodes(".Kinotoppen_MovieTitle__2MFbT") %>% 
  html_text()
# [1] "Spider-Man: No Way Home"              "Clifford: Den store røde hunden"      "Lise & Snøpels - Venner for alltid"  
# [4] "Familien Voff - alle trenger en venn" "Nightmare Alley"                      "Snødronningen"                       
# [7] "Scream"                               "Bergman Island"                       "Trøffeljegerne fra Piemonte"         
# [10] "Encanto"                             

Answer 2

从 graphql 查询中动态检索数据。您可以复制该查询以获取包含所有所需数据的 JSON 响应。

在这种情况下，我选择使用httr2 和newish pipe operator (R 4.1.0)

关于如何管道标头向量，我查看了@MrFlick here 给出的解决方案。

library(httr2)

headers = c(
  'Accept' = 'application/json',
  'Referer' = 'https://www.filmweb.no/',
  'Content-Type' = 'application/json',
  'User-Agent' = 'Mozilla/5.0'
)

params = list(
  'query' = 'query($date:String,$chartType:String,$max:Int){movieQuery{getMovieChart(date:$date,chartType:$chartType,max:$max){chartType periodStart periodEnd movieChartItem{pos posPrev admissions admissionsPrev admissionsToDate weeksOnList movie{title mainVersionId premiere poster{name versions{width height url}}}}}}}',
  'variables' = '{"date":"2022-02-04","chartType":"weekend","max":1000}'
)

data <- request("https://skynet.filmweb.no/MovieInfoQs/graphql/") |> 
  (\(x) req_headers(x,  !!!headers))() |>  
 req_url_query(!!!params) |> 
  req_perform() |> 
  resp_body_json()