如何使用 readLines 和 grep 在 R 中构建网络爬虫？

Question

我对 R 很陌生。我想编译一个 100 万字的报纸文章语料库。所以我正在尝试编写一个网络爬虫来检索报纸文章，例如监护人网站：http://www.guardian.co.uk/politics/2011/oct/31/nick-clegg-investment-new-jobs.

刮板旨在从一页开始，检索文章的正文，删除所有标签并将其保存到文本文件中。然后应该通过这个页面的链接进入下一篇文章，获取文章等等，直到文件包含大约100万字。

不幸的是，我的刮刀没有走得太远。

我使用 readLines() 来获取网站的源代码，现在想获取代码中的相关行。

卫报中的相关版块使用这个id来标记文章的正文：

<div id="article-body-blocks">         
  <p>
    <a href="http://www.guardian.co.uk/politics/boris"
       title="More from guardian.co.uk on Boris Johnson">Boris Johnson</a>,
       the...a different approach."
  </p>
</div>

我尝试使用 grep 和lookbehind 的各种表达式来掌握本节 - 试图获取此 id 之后的行 - 但我认为它不适用于多行。至少我不能让它工作。

有人可以帮忙吗？如果有人能提供一些我可以继续工作的代码，那就太好了！

谢谢。

Answer 1

如果你真的坚持使用grep和readLines，你将面临清理刮页的问题，但这当然可以做到。例如：

加载页面：

html <- readLines('http://www.guardian.co.uk/politics/2011/oct/31/nick-clegg-investment-new-jobs')

借助来自stringr 包的str_extract 和一个简单的正则表达式，您就完成了：

library(stringr)
body <- str_extract(paste(html, collapse='\n'), '<div id="article-body-blocks">.*</div>')

好吧，body 看起来很丑，你必须从<p> 和脚本中清理它。这可以通过gsub 和朋友（不错的正则表达式）来完成。例如：

gsub('<script(.*?)script>|<span(.*?)>|<div(.*?)>|</div>|</p>|<p(.*?)>|<a(.*?)>|\n|\t', '', body)

---

正如@Andrie 建议的那样，您应该为此目的使用一些构建包。小演示：

library(XML)
library(RCurl)
webpage <- getURL('http://www.guardian.co.uk/politics/2011/oct/31/nick-clegg-investment-new-jobs')
webpage <- readLines(tc <- textConnection(webpage)); close(tc)
pagetree <- htmlTreeParse(webpage, useInternalNodes = TRUE, encoding='UTF-8')
body <- xpathSApply(pagetree, "//div[@id='article-body-blocks']/p", xmlValue)

body 生成干净的文本：

> str(body)
 chr [1:33] "The deputy prime minister, Nick Clegg, has said the government's regional growth fund will provide a \"snowball effect that cre"| __truncated__ ...

---

更新：以上为单行（感谢@Martin Morgan 的建议）：

xpathSApply(htmlTreeParse('http://www.guardian.co.uk/politics/2011/oct/31/nick-clegg-investment-new-jobs', useInternalNodes = TRUE, encoding='UTF-8'), "//div[@id='article-body-blocks']/p", xmlValue)