将 rvest 管道应用于数据帧答案

【问题标题】：Applying rvest pipes to a dataframe将 rvest 管道应用于数据帧
【发布时间】：2016-09-08 17:49:40
【问题描述】：

我有一个名为 base_table 的数据框，其中包含大量 311 数据和指向每个调用的更广泛描述的 URL。

我正在尝试创建一个名为 case_desc 的新变量，其中每个 URL 都有一系列 rvest 函数。

base_table$case_desc <- 
                      read_html(base_table$case_url) %>%
                           html_nodes("rc_descrlong") %>%
                           html_text()

但这不起作用，因为我想我现在无法提出明显的原因。我尝试过使用函数，但似乎无法确定正确的格式。

任何帮助都会很棒！谢谢！

【问题讨论】：

标签： r dataframe web-scraping rvest

【解决方案1】：

它不起作用，因为read_html 不适用于 URL 向量。如果你给它一个向量，它会抛出一个错误......

> read_html(c("http://www.google.com", "http://www.yahoo.com")) Error: expecting a single value

您可能必须使用apply 函数...

library("rvest")
base_table$case_desc <- sapply(base_table$case_url, function(x)
                          read_html(x) %>%
                            html_nodes("rc_descrlong") %>%
                            html_text())

【讨论】：