我应该使用 php 或 python 来制作网络爬虫？ [关闭]答案

【问题标题】：I should use php or python to make web crawler? [closed]我应该使用 php 或 python 来制作网络爬虫？ [关闭]
【发布时间】：2014-09-07 20:30:30
【问题描述】：

我正在学习网络爬虫，但我不知道是使用 php 还是 python。我想制作一个从另一个网站获取信息并自动更新的网站。有没有可能用python做一个像样的网站？或者我必须将信息从 python 粘贴到 html 或 php？

【问题讨论】：

你可以使用Scrapy一个快速的网络爬虫框架。
多年来我一直在使用 PHP 来制作网络爬虫。除非您需要良好的资源使用等。PHP 将完成这项工作。 Python 略有不同。不过，如果我有更多时间，我想使用另一种语言，C、golang 甚至 Bash 会更适合重型任务。但是对于一些简单的 PHP 或 Python 就足够了。我会选择你最喜欢的。

【解决方案1】：

这取决于细微差别。 PHP 是一种主要用于开发网站（展示它们）的语言，而 Python 用于编程网站和编程其他应用程序。因此，这取决于抓取将如何类似于应用程序，或者它将包含在（展示）网站中的程度。

Python 非常适合抓取任务，因为它有很多第三方库（Scrapy、BeautifulSoup、lxml、request 等），并且还内置了用于请求 URL 的库。使用 PHP，您将在请求其他网站时遇到困难。如前所述，它主要专注于建立自己的网站。

当然，这也取决于您对每种语言的技能水平。

无论如何我都会将应用程序分成两部分：

两者都将通过数据库连接。抓取逻辑收集信息并将其存储到数据库中。表示逻辑从数据库中获取信息并以 HTML 的形式显示给用户。

对于抓取部分，您希望 Python 优于 PHP。而对于演示部分，这实际上并不重要，是偏好或知识的问题。

【讨论】：