如果条件使用 json 来抓取多个链接

Question

我正在使用 json 来抓取多个 (1000) 链接的内容。但是，有些链接不能以 json 格式工作，因此没有要抓取的内容。因此，我的代码在找到其中一个链接时停止工作。

我尝试使用TryCatch 来避免错误，但它似乎不起作用

这是我正在使用的代码

library(jsonlite)
library(rvest)

lapply(links_jason[1:6], function(x) {
  tryCatch(
    {
  json_data <- read_html(x) %>% html_text()%>%
    jsonlite::fromJSON(.)%>%
    select(1)
    },
  error = function(cond) return(NULL),
  finally = print(x)
  )
})

这是我遇到的问题

Debug location is approximate beacuse the source is not available

以下是我尝试抓取的链接的一些示例

链接 1、2 和 6 工作正常。 3、4和5需要避免

> head(links_jason)
[1] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/68077&_format=hal_json"
[2] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/57833&_format=hal_json"
[3] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56774&_format=hal_json"
[4] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56748&_format=hal_json"
[5] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56782&_format=hal_json"
[6] "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/64341&_format=hal_json"

我也尝试过使用没有结果的 if 语句。有人可以帮忙吗？谢谢！

Answer 1

用jsonlite直接读取并测试返回长度

library(jsonlite)
library(rvest)
library(magrittr)

links_jason <- c("https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/68077&_format=hal_json"
,"https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/57833&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56774&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56748&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56782&_format=hal_json"
,"https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/64341&_format=hal_json")


lapply(links_jason[1:6], function(x) {

      json_data <- jsonlite::read_json(x)
      if(length(json_data)>0){
        print(x)
      }
}

---

或者类似的东西：

library(jsonlite)
library(rvest)
library(magrittr)

links_jason <- c("https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/68077&_format=hal_json"
,"https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/57833&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56774&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56748&_format=hal_json"
, "https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/56782&_format=hal_json"
,"https://lasillavacia.com/silla_llena_api/get?path=/contenido-nodo/64341&_format=hal_json")


lapply(links_jason[1:6], function(x) {
      json_data <- jsonlite::read_json(x)
      if(length(json_data)==0){
        json_data <- NA}
      else{
          print('doing something with json_data')
        }
      })