如何从抓取的网页/文章中提取标题和内容？

Question

我需要一些关于如何检测已抓取页面的标题和内容的指南。自从我开始研究这个爬虫以来，我一直在看到一些非常奇怪的前端代码工作。

Answer 1

你可以试试Simple HTML DOM Parser。它使用一种语法来查找类似于 jQuery 的特定元素。

他们有一个关于如何抓取 Slashdot 的示例：

// Create DOM from URL
$html = file_get_html('http://slashdot.org/');

// Find all article blocks
foreach($html->find('div.article') as $article) {
    $item['title']     = $article->find('div.title', 0)->plaintext;
    $item['intro']    = $article->find('div.intro', 0)->plaintext;
    $item['details'] = $article->find('div.details', 0)->plaintext;
    $articles[] = $item;
}

print_r($articles);