好的，我们开始吧。
（小幅修改，主要针对语法，20110316）
我只能抽出时间向您展示解决问题的最简单、非生产就绪的解决方案。如果您需要一次性解决方案，那么这应该可以为您节省大量时间。如果您正在寻找生产级工具，那么您将希望完全不同，尤其是如何将 html 简化为纯文本。只需在 SO 上搜索“awk html 解析器”，看看这个解决方案有多么错误 ;-)（下面有更多信息）......无论如何......
1 -- 蜘蛛/捕获文本到文件
wget -nc -S -r -l4 -k -np -w10 --random-wait http://www.dmoz.org/Arts/
#noClobber
#server Responses
# -r recursive
# -l4 4 levels
# -k (convert) make links in downloaded HTML point to local files.
# -np no-parent. don't ascend to the parent directory.
# -w10 wait 10 secs between
# --random-wait randomize that 10 secs above from 0-10
这会将所有 www.dmoz.org 文件放在当前目录的目录结构中，从顶部的 www.dmoz.org 开始。如果您愿意，可以将其 CD 下来以查看原始数据。
2 -- 制作一个简单的 html 剥离器脚本，如
$: cat rmhtml3
#! /bin/awk -f
{
gsub(/[{<].*[>}]/, "")
gsub(" ", "")
gsub(/[ \t][ \t]*/, " ")
if ($0 !~ /^[ \t]*$/) {
print $0
}
}
这将使“在 awk 中解析 html”的警察对我们失望 ;-)，所以也许有人会推荐一个简单的命令行 xslt 处理器（或其他），它会比上面的工作更干净.我最近才弄清楚其中的一些，并正在寻找适合 unix 脚本环境的适当解决方案。或者您可以查看Wikipedia entry for webCrawlers 列出的开源网络爬虫
3 -- 制作一个大的 unix 管道以获得所需的输出。
find . -name '*.html' | xargs ./rmhtml3 \
| awk 'BEGIN {RS=" ";};{ print $0}' \
| sort | uniq -c \
| sort +0n | tail -50
您可以轻松地将其分解并查看每个阶段对流程的影响。
不寻常的位是
awk 'BEGIN{RS=" ";};{print $0}'
这会将 awk RecordSeparator 重置为空格字符，以便每个单词都打印在单独的行上。
然后很容易对它们进行排序，获取 uniq 项的计数，按排序输出的前导数排序，并且只显示最后 50 个条目。 （显然，您可以将其更改为您认为可能有用的任何数字。）
如果您不喜欢查看所有干扰词（the、at、it、....等），请将这些词放入文件中并使用
.... | fgrep -vif skipwords | sort | uniq -c ...
4 -- 在让蜘蛛运行 1/2 小时后，我正在查看输出，并且我看到了一些您想要添加到管道中的其他内容，这留给您作为练习；- )
sort -i # ignore upper-lower case while sorting
sed 's/[,]//g # delete all commas. Add any other chars you find inside the []
希望对你有帮助