R - 使用 SelectorGadget 抓取数据集

Question

我正在尝试从该站点获取夏威夷特定数据：https://www.opentable.com/state-of-industry。我想从网站上的每个表中获取夏威夷的数据。这是在选择“状态”选项卡后完成的。

在 R 中，我正在尝试将 rvest 库与 SelectorGadget 一起使用。

到目前为止我已经尝试过

library(rvest)
html <- read_html("https://www.opentable.com/state-of-industry") 
    
html %>% 
html_element("tbody") %>% 
      html_table() 

但是，这还没有给我我想要的东西。我正在获取全局数据集而不是小标题。那么对于如何从 State 选项卡中获取夏威夷数据集有什么建议吗？

另外，有没有办法下载点击下载数据集选项卡的数据集？然后我也可以使用 csv 文件。

Answer 1

所有页面数据都存储在script 标记中，在浏览器中动态地从该标记中提取。您可以正则表达式输出包含所有数据的 JavaScript 对象，并编写一个自定义函数来仅提取夏威夷的信息，如下所示。函数get_state_index 被编写为接受state 参数，以防您希望查看其他州的信息。

library(rvest)
library(jsonlite)
library(magrittr)
library(stringr)
library(purrr)
library(dplyr)

get_state_index <- function(states, state) {
  return(match(T, map(states, ~ {
    .x$name == state
  })))
}

s <- read_html("https://www.opentable.com/state-of-industry") %>% html_text()
all_data <- jsonlite::parse_json(stringr::str_match(s, "__INITIAL_STATE__ = (.*?\\});w\\.")[, 2])
fullbook <- all_data$covidDataCenter$fullbook

hawaii_dataset <- tibble(
  date = fullbook$headers %>% unlist() %>%  as.Date(),
  yoy = fullbook$states[get_state_index(fullbook$states, "Hawaii")][[1]]$yoy %>% unlist()
)

---

正则表达式：