是什么导致使用 rvest 包抓取表格网页有时会失败？

Question

我正在使用 rvest 包并试图弄清楚为什么有时它无法抓取绝对看起来像是表格的对象。

例如，考虑这样的脚本：

require(rvest)
url <- "http://bigcharts.marketwatch.com/quickchart/options.asp?symb=SPY"
population <- url %>%
  xml2::read_html() %>%
  html_nodes(xpath='//*[@id="options"]/table/tbody/tr/td/table[2]/tbody') %>%
  html_table()
population

如果我检查population，它是一个空列表：

> population
list()

另一个例子：

require(rvest)
url <- "https://finance.yahoo.com/quote/SPY/options?straddle=false"
population <- url %>%
  xml2::read_html() %>%
  html_nodes(xpath='//*[@id="Col1-1-OptionContracts-Proxy"]/section/section[1]/div[2]') %>%
  html_table()
population

我想知道PhantomJS 的使用是否是强制性的——正如here 解释的那样——或者问题是否出在其他地方。

Answer 1

您当前的 xpath 都没有实际选择表。在这两种情况下，我认为您需要将一个 html 表传递给 html_table，因为幕后有：

html_table.xml_node(.) : html_name(x) == "table" 

此外，长 xpath 太脆弱了，尤其是在应用对浏览器呈现的内容有效的路径而不是 rvest 返回 html 时 - 因为 javascript 不能与 rvest 一起运行。就个人而言，我更喜欢漂亮的短 CSS 选择器。您可以使用第二快的选择器类型的类，只需要指定一个类

require(rvest)
url <- "http://bigcharts.marketwatch.com/quickchart/options.asp?symb=SPY"
population <- url %>%
  xml2::read_html() %>%
  html_node('.optionchain') %>%
  html_table()

由于源中的“合并”单元格，表格当然需要清理，但你明白了。

使用 xpath 你可以做到：

require(rvest)
url <- "http://bigcharts.marketwatch.com/quickchart/options.asp?symb=SPY"
population <- url %>%
  xml2::read_html() %>%
  html_node(xpath='//table[2]') %>%
  html_table()

注意：我减少了 xpath 并使用代表表的单个节点。

---

第二次：

同样，您的 xpath 没有选择表格元素。表类是多值的，但在 xpath 中一个正确选择的类就足够了，即 //*[contains(@class,"calls")] 。选择单个表节点。

require(rvest)
url <- "https://finance.yahoo.com/quote/SPY/options?straddle=false"
population <- url %>%
  xml2::read_html() %>%
  html_node(xpath='//*[contains(@class,"calls")]') %>%
  html_table()

再一次，我更喜欢 css 选择器（少打字！）

require(rvest)
url <- "https://finance.yahoo.com/quote/SPY/options?straddle=false"
population <- url %>%
  xml2::read_html() %>%
  html_node('.calls') %>%
  html_table()