我有一个简单的网络爬虫，它从根目录（给定 url）开始下载根页面的 html，然后扫描超链接并抓取它们。我目前将 html 页面存储在 SQL 数据库中。我目前面临两个问题：
似乎爬虫遇到了瓶颈，无法更快地爬虫，我在某处读到，对页面进行多线程 http 请求可以使爬虫爬得更快，但我不确定如何做到这一点。
第二个问题，我需要一个高效的数据结构来存储html页面并能够对其进行数据挖掘操作（目前使用SQL数据库想听听其他建议）
李>我正在使用 .Net 框架、C# 和 MS SQL
【问题讨论】：
标签： c# algorithm web-crawler
所以首先，我不会担心进入分布式爬虫和存储，因为顾名思义：它需要相当数量的机器才能获得好的结果。除非您拥有大量计算机，否则您将无法真正从中受益。你可以构建一个gets 300 pages per second and run it on a single computer with 150 Mbps connection的爬虫。
列表中的下一件事是确定您的瓶颈在哪里。
尝试消除MS SQL：
如果 1000 个 URL 无法为您提供足够大的抓取，则获取 10000 个 URL 或 100k 个 URL（或者如果您觉得勇敢，则获取 Alexa top 1 million）。在任何情况下，尝试建立一个排除尽可能多的变量的基线。
确定抓取速度的基准后，请尝试确定导致速度变慢的原因。此外，您将需要开始使用多线程处理，因为您受 i/o 限制，并且您在获取页面之间有很多空闲时间可以用来提取链接和做其他事情（例如工作）与数据库。
您现在每秒获得多少页？您应该尝试每秒获取超过 10 页。
显然，下一步是尽可能地调整你的爬虫：
如果您已经掌握了以上所有内容，那么我建议您尝试成为职业选手！为了平衡新鲜度和覆盖率，您必须拥有一个模仿 PageRank 的良好选择算法：OPIC is pretty much the latest and greatest in that respect (AKA Adaptive Online Page Importance Computation)。如果你有上述工具，那么你应该能够实现 OPIC 并运行一个相当快的爬虫。
如果你的编程语言比较灵活，又不想离C#太远，那么你可以试试Nutch等基于Java的企业级爬虫。 Nutch 与 Hadoop 和各种其他高度可扩展的解决方案集成。
【讨论】：
这就是 Google 的 BigTable 的设计目的。 HBase 是一个流行的开源克隆，但您需要处理 Java 和（可能）Linux。 Cassandra 也是用 Java 编写的，但在 Windows 上运行。两者都允许 .NET 客户端。
因为它们被设计为分布在多台机器上（存在数千个节点的实现），它们可以承受极其繁重的读/写负载，甚至比最快的 SQL Server 或 Oracle 硬件所能承受的负载还要大。
如果您对 Java 基础架构不满意，您可能需要查看 Microsoft 的 Azure Table Storage，以了解类似的特征。不过，这是一个托管/云解决方案 - 您无法在自己的硬件上运行它。
至于处理数据，如果您选择 HBase 或 Cassandra，则可以使用 Hadoop MapReduce。 MR 被 Google 推广用于您所描述的任务——处理大量网络数据。简而言之，这个想法是，MapReduce 不是在一个地方运行您的算法并通过它管道传输所有数据，而是将您的程序发送到存储数据的机器上运行。它允许您在基本上无限量的数据上运行算法，前提是您拥有相应的硬件。
【讨论】：