r 中的网页抓取。如何从（“+更多”等）中抓取数据？

Question

假设我想从此网页 (https://www.airbnb.com/rooms/6676364) 获取有关设施的信息。它仅适用于可见部分。 但是如何从“+More”按钮中提取其余部分？

我在 xpathSApply 的帮助下尝试了来自“源代码”的节点，但它返回给我“+更多”。 你知道这个问题的解决方法吗？

我的 RSelenium 方法：

url <- "https://www.airbnb.com/rooms/12344760"
library('RSelenium')
pJS <- phantom()
library('XML')
shell.exec(paste0("C:\\Users\\Daniil\\Desktop\\R-language,Python\\file.bat"))
Sys.sleep(10)

checkForServer()
startServer()
remDr <- remoteDriver(browserName="chrome", port=4444)
remDr$open(silent=T)

remDr$navigate(url)
var <- remDr$findElement('id','details') ### extracting all table###

vartxt <- var$getElementAttribute("outerHTML")[[1]]
varxml <- htmlParse(vartxt, useInternalNodes=T)
Amenities <- xpathSApply(varxml,"//div[@class = expandable-content expandable-content-full']",xmlValue)

也不行

Answer 1

将 RSelenium 驱动程序导航到目标 URL 后，使用以下 XPath 查找 <a> 元素，其中内部文本等于“+ More”在便利设施 <div> 中：

remDr$navigate(url)
link <- remDr$findElement(using = 'xpath', "//div[@class='row amenities']//a[.='+ More']")

然后单击链接以获取完整的便利设施列表：

link$clickElement()

最后，将当前页面的 HTML 源代码传递给您想要用于进一步处理的任何 R 函数：

doc <- htmlParse(remDr$getPageSource()[[1]])
....