从 python Django 的角度来看，机器人与爬虫有什么不同

Question

实际上，我对术语感到困惑。我正在研究scrapy，我认为它用于抓取网站并提取一些数据。

但我想制作一些 python 程序，它们可以像实际用户那样做。我的意思是自动化任务。

E,g 访问 www.myblah.com，然后获得某个类别中最便宜的产品，如果低于我的预设金额，请给我发送电子邮件。

现在我不知道这些类型的东西是爬行还是其他。

我可以在 scrapy 中执行此操作吗，或者我们有其他库可以执行此类任务。

Answer 1

Scrapy 是可用于创建机器人或爬虫（又名蜘蛛）的框架。爬虫是特定类型的机器人，但机器人不一定是爬虫。爬虫被定义为旨在探索页面（节点）及其嵌入的 URL（边缘）的图形，尽管它们可能会被限制跟踪特定的 URL。

自动化任务是机器人的工作。 Scrapy 是否会为此工作将取决于需要哪些信息以及如何采取行动。如今，许多网站都大量使用 javascript，因此如果机器人无法执行 javascript 并正确提供 cookie，它可能无法获取信息来完成任务。一些网络自动化任务可能需要浏览器插件，甚至可能需要 GUI 自动化工具。