如何在 R 中对该代码执行 for 循环。我想做网页抓取 [关闭]

Question

我有很多 url 地址，我想在下面应用这两行代码：

a <- htmlTreeParse("url address",useInternal=T,encoding='UTF-8') 
d <- xpathSApply(a,"//div[@class='text']",xmlValue) 

我该怎么做？

我试过了：

urls <- read.table("file.txt") #txt file with all url's

for(i in 1:200){        
  a <- 1:200        
  c <- 1:200     
  d <- 1:200

  a[i]<-as.character(urls[i,])    
  c[i] <- htmlTreeParse(a[i],useInternal=T,encoding='UTF-8')        
  d[i] <- xpathSApply(c[i],"//div[@class='text']",xmlValue)   
}

我在上面代码中的问题是xpathSApply 函数使用类XMLInternalDocument 的对象，所以c[i] 应该属于该类。但我不知道我该怎么做

Answer 1

试试：

urls<-read.table("file.txt") #txt file with all url's

a <- c()
c <- c()
d <- c()

for(i in 1:200){
a[i]<- as.character(urls[i,])
c   <- htmlTreeParse(a[i],useInternal=T,encoding='UTF-8')
d[i]<- xpathSApply(c,"//div[@class='text']",xmlValue)
}