使用 R (rvest) 抓取表格答案

【问题标题】：Scraping a table using R (rvest)使用 R (rvest) 抓取表格
【发布时间】：2021-08-24 11:28:50
【问题描述】：

尝试使用以下代码（链接到代码中的网站）抓取表格：

zb <- read_html("https://zigbeealliance.org/classic-product-search/")
zb %>%
html_nodes("tr.field_1") %>%
  html_text()

我基本上是在尝试从页面中的表中抓取字段并合并到一个主表中。但我未能逐个字段地抓取整个表格或字段。类似的代码也适用于其他网站。

非常感谢

【问题讨论】：

该数据是从us-east-1-renderer-read.knack.com/v1/scenes/scene_19/views/…动态检索的，加载页面时可以在浏览器的网络选项卡中找到。看起来请求需要特定的标头

标签： r web-scraping rvest

【解决方案1】：

不幸的是，rvest 包在这里对您没有多大帮助。首先，虽然不是致命的，但该表实际上并不是一张表。表中的每个项目都在 kn-list-item-container 类的一个元素中，因此理论上，您可以获得所有这些节点，这样就可以了。但是，该表是使用 javascript 调用生成的，该调用在页面读取时尚未加载，因此该表实际上并不存在于代码中。

> zb %>% html_nodes(".kn-list-item-container")
{xml_nodeset (0)}

RSelenium 可能会更好。这是link to a tutorial

【讨论】：