使用 rvest 抓取 ASX

Question

我正在尝试从 ASX（澳大利亚证券交易所）网站上抓取数据。例如BHP on ASX，页面底部是一组基本面数据。值的选择器，例如 eps，是：

#company_key_statistics > div > div.panel-body.row > div:nth-child(3) > table > tbody > tr:nth-child(8) > td

我试过了

library(rvest)
ASX_bhp <-read_html("https://www2.asx.com.au/markets/company/bhp")
ASX_data <- ASX_bhp |> html_elements("td") |> html_text()

或者代替“td”，我尝试了“tr”、“#company_key_statistics”或整个选择器字符串。但是，所有返回一个空字符。我也试过 html_nodes 而不是 html_elements。

我应该如何从该站点提取基本数据？

Answer 1

所有这些数据都是通过 JavaScript 获取和呈现的，因此它不可用于 rvest（至少不能通过该 URL）。但是你可以使用他们的 API：

library(jsonlite)
bhp <- fromJSON("https://asx.api.markitdigital.com/asx-research/1.0/companies/bhp/key-statistics")
bhp$data$earningsPerShare
#> [1] 5.95708

^{创建于 2022-09-19 reprex v2.0.2}