网络爬虫生成输出缓存

Question

我实现了：

<%@ OutputCache Duration="43200" VaryByParam="none" location="Server" VaryByCustom="RawURL" %>

我的站点中有一个包含所有 url（大约 12000）的 sitemap.xml。

我会知道创建一个可以解析我的站点地图的应用程序是否明智 为了请求所有的url？

目标是缓存我的所有网站以提高速度。

我的问题是准确的：

每个页面创建大约需要10秒，缓存时长和缓存时长为12小时

Answer 1

如果动态创建任何单独页面的时间相对较快，那么您可能不会通过这样做获得太多收益。

也许您最好将输出缓存保留在适当的时间限制（5 - 15 分钟）以避免使用大量内存，并保持页面新鲜（除非您有一个使输出缓存过期的好方法每次更新页面时）。如果一个页面足够受欢迎以至于被频繁访问，那么当人们访问它时，它很可能会被缓存。