我无法抓取新闻网站的 URL

Question

我尝试使用 Rvest 收集网站的 URl，但我使用的节点/标签（“node-title”）似乎不包含每个链接的“href”。但是，如果我使用相同的节点/标签来收集主页中的 URL（我正在尝试抓取搜索部分），它确实有效。

#Getting the dynamic URL using %d

url_espectador <- 'https://www.elespectador.com/search/proceso paz farc?page=%d'

#The original website is https://www.elespectador.com/search/proceso%20de%20paz?page=1

#Reading through the pages and collecting website elements
map_df(1:10, function(i) {
  pagina <- read_html(sprintf(url_espectador, i, '%s', '%s', '%s', '%s'))

  data.frame(link = str_trim(html_attr(html_nodes(pagina, ".node-title"), "href")),
                      stringsAsFactors=FALSE)
  }) -> titulos_espectador

我得到的是每个字符串的 NA。有人可以帮忙吗？谢谢！

Answer 1

node-title 用于父元素。你想要孩子a 标签。所以css选择器

.node-title a

请注意，这会返回相对链接，因此您可能希望添加前缀。

library(rvest)
library(stringr)
library(magrittr)
library(purrr)

url_espectador <- 'https://www.elespectador.com/search/proceso paz farc?page=%d'

#The original website is https://www.elespectador.com/search/proceso%20de%20paz?page=1

#Reading through the pages and collecting website elements
map_df(1:2, function(i) {
  pagina <- read_html(sprintf(url_espectador, i, '%s', '%s', '%s', '%s'))

  data.frame(link = paste0("https://www.elespectador.com",str_trim(html_attr(html_nodes(pagina, ".node-title a"), "href"))),
             stringsAsFactors=FALSE)
}) -> titulos_espectador