rvest r 数据抓取返回空表

Question

刚接触编程并尝试从以下站点抓取数据。当我运行下面的代码时，它返回一个空的数据集或表。任何帮助或替代方法将不胜感激。

url <- "https://fasttrack.grv.org.au/Dog/Form?id=2003010003" 
tab <- url %>% read_html %>%  
  html_node("dogruns_wrapper") %>%  
  html_text()    
View(tab)

已尝试使用 xpath 和相同的结果，并且 html_table() 而不是文本返回错误，即没有适用于 'html_table' 的方法应用于类“xml_missing”的对象。

Answer 1

正如 Mislav 所说，该表是使用 JavaScript 生成的，因此您最好的选择是 RSelenium。

另外，如果你想获取表格，使用html_table()可以用更少的代码获取。

我的尝试：

# Load packages
library(rvest) #Loading the rvest package
library(magrittr) # for the '%>%' pipe symbols
library(RSelenium) # to get the loaded html of the webpage

# starting local RSelenium (this is the only way to start RSelenium that is working for me atm)
selCommand <- wdman::selenium(jvmargs = c("-Dwebdriver.chrome.verboseLogging=true"), retcommand = TRUE)
shell(selCommand, wait = FALSE, minimized = TRUE)
remDr <- remoteDriver(port = 4567L, browserName = "chrome")
remDr$open()

# define url
url <- "https://fasttrack.grv.org.au/Dog/Form?id=2003010003"

# go to website
remDr$navigate(url)

# as it's being loaded with JavaScript and it has a slow load, add a sleep here
Sys.sleep(10) # increase as needed

# get the html object of the webpage
html_obj <- remDr$getPageSource(header = TRUE)[[1]] %>% read_html()

# read the table in the html_obj
tab <- html_obj %>%  html_table() %>% .[[1]]

希望对您有所帮助！但是，请务必在执行之前检查网页是否允许抓取！ 检查Terms and conditions：

除非直接用于查看、打印、访问或 与网站互动以供您个人使用或作为 在网站或这些条款和条件中另有说明，您 不得复制、复制、修改、向公众传播、改编、 传输、分发、下载或存储网络的任何内容 网站（包括如下所述的比赛信息），或合并 未经 GRV 书面许可，将网站的任何部分转移到另一个网站 同意。