使用 Python 抓取网站 [关闭]

Question

对于我的第一个爬虫程序，我计划执行以下操作：

1. 使用 Selenium 打开以下 URL：http://www.google.com/
2. 收集所有相关链接
3. 在结果页面上，列举所有存在的 http 链接并将它们存储在 csv 中。
4. 返回第 2 步，但点击下一步

我该如何开始？ （我使用的是 Python 2.6.6）。

Answer 1

看看BeautifulSoup 库，在页面上查找链接非常容易，StackOverflow 上已经有示例。

Answer 2

IMO，lxml 更易于使用，并且具有 pythonic API。看here的例子有详细的解释。

Answer 3

如果您的目标只是获取数据，您是否考虑过联系 Cars.com 的人员？假设您的最终目标是获取数据而不仅仅是开发爬虫程序，他们或许能够为您提供提要或 API 访问权限。