使用隐藏的 html 抓取动态 html 页面

Question

我想从具有多个选项卡的动态网页中提取一些日志数据，当我进行屏幕抓取时它可以工作，但是当我通过 url 传递 url 时，html 不提供某些选项卡中的详细信息（例如，在这种情况下，活动下的详细信息，在所有选项卡中。

  library(RCurl)
  library(stringr)
  library(XML)
  library(RCurl)
  library(stringr)
  library(XML)
 library(rvest)  
 url<- c("https://issues.apache.org/jira/browse/AMQCPP-645")
 html<- getURL((url, followlocation = TRUE)
 doc = htmlParse(html, asText=TRUE)
 evs <- xpathSApply(doc, "//div[@class='issue-data-block']", xmlValue)

我想从网页中提取事件，但 html 不会自动显示选项卡中的信息（位于下部窗格下的所有选项卡下）

我期望输出如下：

  rows  evs 
   1      S A created issue - 25/Apr/19 15:48 Highlight in document.    
   2      Justin Bertram made changes - 25/Apr/19 17:53 Field Original Value 
          New 
         Value  Comment [ I'm using Firefox, and it's working no problem. It's 
         just HTML so    there shouldn't be any browser compatibility issues. 
         My guess is that Firefox  is holding on to an older, cached version or 
         something. Try opening a "private browsing" window and trying it from 
         there. ] Highlight in document.

   3      Timothy Bish made changes - 25/Apr/19 18:10 Resolution Fixed [ 1 ] 
            Status 
          Open [ 1 ] Closed [ 6 ] Highlight in document.
   4       Timothy Bish made transition - 25/Apr/19 18:10 Open Closed 2h 22m 1

有什么建议吗？

Answer 1

我建议你不要抓取 html，而是使用 REST api。原因是页面的部分内容是使用 javascript 构建的，因此仅抓取 html 并评估 JS 是不够的。例如，在您的情况下，您可以调用 Jira 的 REST api 来查询您需要的数据。从技术上讲，这与您已经在做的并没有什么不同。

例如，要获取 cmets，请调用 https://issues.apache.org/jira/rest/api/2/issue/AMQCPP-645/comment，它会返回评论对象列表。每个都有自己的 URL（例如https://issues.apache.org/jira/rest/api/2/issue/13230124/comment/16826237）。其他选项卡可以重复相同的操作。