用于抓取网站并检索每个页面的所有元信息的在线工具答案

【问题标题】：Online tool for crawling a website and retriving all meta information for every page用于抓取网站并检索每个页面的所有元信息的在线工具
【发布时间】：2009-04-21 10:07:24
【问题描述】：

有谁知道可以抓取任何给定网站并仅返回元关键字和元描述信息的免费在线工具？

【问题讨论】：

标签： seo web-crawler meta-tags

【解决方案1】：

假设您可以访问 Linux/Unix：

mkdir temp
cd temp
wget -r SITE_ADDRESS

然后，对于关键字：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

对于描述：

egrep -r -h 'meta[^>]+name="description' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

如果您想要所有唯一关键字，请尝试：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' | sed 's/\s*,\s*/\n/g' | sort | uniq

我确信有一个单行或程序可以做到这一点，而且肯定有更简单的答案。

【讨论】：

【解决方案2】：

要检索所有元信息，请尝试使用此工具Meta Tags Analyzer

【讨论】：