从 URL 下载所有 PDF

Question

我有一个包含数百个 PDF 的网站。我需要遍历并将每个 PDF 下载到我的本地计算机。我想使用rvest。尝试：

library(rvest)

url <- "https://example.com"

scrape <- url %>% 
  read_html() %>% 
  html_node(".ms-vb2 a") %>%
  download.file(., 'my-local-directory')

如何从链接中获取每个 PDF？ download.file() 不起作用，我不知道如何获取每个文件。我只是得到这个错误：

doc_parse_raw(x, encoding = encoding, base_url = base_url, as_html = as_html, : xmlParseEntityRef: 无名 [68]

Answer 1

library(rvest)

url <- "https://example.com"
page<- html_session(url,config(ssl_verifypeer=FALSE))

links<-page %>% html_nodes(".ms-vb2 a") %>% html_attr("href")
subject<-page %>% html_nodes(".ms-vb2:nth-child(3)") %>% html_text()
name<-links<-page %>% html_nodes(".ms-vb2 a") %>% html_text()

for(i in 1:length(links)){
  pdf_page<-html_session(URLencode(paste0("https://example.com",links[i])),config(ssl_verifypeer=FALSE))
  writeBin(paste0(name[i],"-",subject[i],".pdf")
}

网址是http，所以必须使用config(ssl_verifypeer=FALSE)

writeBin 根据您的需要命名文件。我刚刚把它命名为ok_1.pdfok_2.pdf等等