无法选择正确的 css 元素以使用 rvest 进行抓取

Question

目标：我正在尝试从篮球参考网站上抓取 NBA 球队的输赢记录。

更广泛地说，我试图更好地了解如何正确使用 CSS 选择器小工具从网站上抓取指定元素，但希望能找到解决此问题的方法。

我正在使用的网址 (https://www.basketball-reference.com/leagues/NBA_2018_standings.html) 上有多个表格，所以我尝试使用 CSS 选择器小工具来指定我想要的元素，即“扩展排名”表格 - 大约 1/页面下方的 3 条。

我已经阅读了有关网络抓取的各种教程，其中涉及 rvest 和 dplyr 包，以及 CSS 选择器网络浏览器插件（我已将其安装在我选择的浏览器 Chrome 中）。这就是我想要的。

到目前为止，这是我的代码：

url <- "https://www.basketball-reference.com/leagues/NBA_2018_standings.html"
css <- "#expanded_standings"

url %>%
  read_html() %>%
  html_nodes(css) %>%
  html_table()

这段代码的结果是错误：

Error: html_name(x) == "table" is not TRUE

当我删除最后一行代码时，我得到：

url %>%
  read_html() %>%
  html_nodes(css)

{xml_nodeset (0)}

我定义 CSS 对象的方式/我使用 CSS 选择器工具的方式似乎存在问题。我一直在做的是单击所需表格的最右边缘，以便表格周围有一个矩形。

我还尝试单击表格中的特定“单元格”（即“65-17”，这是休斯顿火箭队行的“总体”列中的值），但这似乎突出了一些，但不是所有表格，以及网页上其他表格的随机部分。

谁能提供解决方案？如果你能帮助我理解我在哪里/为什么我在做什么是不正确的，那就加分。

提前致谢！

Answer 1

library(rvest)
library(dplR)
library(stringr)
library(magrittr)

url <- "https://www.basketball-reference.com/leagues/NBA_2018_standings.html"
css <- "#expanded_standings"
css <- "#all_expanded_standings"

webpage <- read_html(url)
print(webpage)
mynode <- html_nodes(webpage,css)

mystr <- toString(mynode)
mystr <- gsub("<!--","",mystr)
mystr <- gsub("-->","",mystr)

newdiv <- read_html(mystr)

newtable <- html_nodes(newdiv,"#expanded_standings")
newframe <- html_table(newtable)

print(newframe)

Answer 2

library(rvest)
library(dplR)
library(stringr)
library(magrittr)

url <- "https://www.basketball-reference.com/leagues/NBA_2018_standings.html"
css <- "#expanded_standings"
css <- "#all_expanded_standings"

webpage <- read_html(url)
print(webpage)
mynode <- html_nodes(webpage,css)
#print node to console - interprets slashes
cat(toString(mynode))

Answer 3

我尝试下载裸 url html（在 javascript 渲染之前）。看起来很奇怪，就像表格数据在注释块中一样。在这个 div 中 - 有“扩展排名”表。

我使用python和beautifulsoup提取元素，然后删除注释标记，resoup字符串部分，然后将字符串解析为td位。奇怪的是排名在第一个元素中。