- crawldb目录下面存放下载的URL,以及下载的日期，用来页面更新检查时间。
- linkdb目录存放URL的关联关系，是下载完成后分析时创建的，通过这个关联关系可以实现类似google的pagerank功能。
- segments目录存储抓取的页面，下面子目录的个数与获取页面的层数有关系。 内含有6个子目录
content：下载页面的内容
crawl_fetch：下载URL的状态内容
crawl_generate：待下载的URL的集合，在generate任务生成时和下载过程中持续分析出来
crawl_parse：存放用来更新crawldb的外部链接库
parse_data：存放每个URL解析出来的外部链接和元数据
parse_text：存放每个解析过的URL的文本内容 - index目录存放符合lucene格式的索引目录，是indexs里所有的索引内容合并后的完整内容，这里的索引文件的内容基本与lucene的索引文件一致，但多了.nrm文件，少了lucene的.f0文件，而且是非复合索引。
- indexs目录存放每次下载的索引目录，存放part-0000到part-0003
相关文章：