为什么网络爬虫必须具有这些属性，如鲁棒性、礼貌等

Question

为什么网络爬虫必须具有健壮性、礼貌性、可扩展性、质量、新鲜度和可扩展性？

Answer 1

稳健性：网络爬虫必须对网站内容的变化具有稳健性。网络搜索需要尽快检索和索引每个新网页。如果一个网站刚刚上线，爬虫需要时间遍历所有在frontier队列中的前端节点，然后才能专注于这个新网站。为了解决这个网络爬虫，分布式系统可以索引不同规格的不同网页

礼貌：网络搜索必须尊重每个网络服务器的政策以重新索引其网页。如果某个网络服务器要求网络爬虫不要主动爬取页面，则爬虫可以将该页面放入优先级队列中，并在队列位于顶部时重新索引它

可扩展性：每天都有新的网页添加到互联网上，网络爬虫必须尽快索引每个页面。为此，它需要容错、分布式系统、额外的机器等。如果网络爬虫上的某个节点出现故障，其他节点可以分工并索引特定的网页。

质量：网络搜索能力，可为每个用户提供有用的网页。如果页面包含的条目包含远离用户最近搜索或用户兴趣的内容，则网络搜索必须使用以前的用户体验来预测用户可能喜欢什么样的内容

新鲜度：网络爬虫获取和索引每个页面的新鲜副本的能力。例如，新闻网站每秒更新一次，需要紧急重新索引。对于此网络爬虫，为此类基于优先级的内容保留一个单独的优先级队列，以便在短时间内重新索引此类页面。

可扩展性：在早期，引入了新的数据格式、语言和新协议。网络爬虫处理新的和看不见的数据格式和新协议的能力称为可扩展性，这表明网络爬虫架构必须是模块化的，这样一个模块的变化就不会影响其他模块。如果网站包含网络爬虫未知的新数据格式，则网络爬虫可以获取数据，但需要人工干预才能将数据格式详细信息添加到爬虫索引模块。