如何在asp.net的后端运行爬虫？

Question

我正在 asp.net 中创建一个网站，但我遇到了一些问题..

我编写了一个程序，它可以抓取给定的网页，即 thenextweb.com 的链接、内容和图像。

现在我想将这些爬取的数据存储在我的表 *Crawlr_Data* 中。

我希望爬虫每 30 分钟运行一次，并使用新链接更新表格（如果有）。

{在我网站的主页上，我正在显示存储在数据库中的信息}

如何在后端运行爬虫并更新数据库？ 我应该使用什么技术（Web 服务、WCF）或 Visual Studio 中我可以使用的任何其他东西，以便我如果在线托管网站，它的爬虫继续运行和更新表格}

请建议 谢谢

Answer 1

使用 Microsoft 堆栈有两种方法可以做到这一点。

1. 创建要在服务器上运行的服务。让服务自己在唤醒和爬网时进行管理。

2. 创建一个控制台应用程序来进行爬网。使用 Windows 任务计划程序将控制台应用程序作为计划任务运行，次数不限。

我想还有其他方法可以做到这一点 - 所以说只有两个并不完全准确 - 也有 3rd 方程序可以为你做这件事......我希望大部分（如果不是全部）都是作为服务实现。您还可以编写一个在服务器上运行的程序，而不是作为控制台应用程序或服务。但这通常是个坏主意。