Python中的机械化有什么替代品吗？ [关闭]答案

【问题标题】：Are there any alternatives to Mechanize in Python? [closed]Python中的机械化有什么替代品吗？ [关闭]
【发布时间】：2011-02-09 09:36:43
【问题描述】：

我使用的是 Python 3.6，而我必须填写表格。不幸的是，mechanize 不适用于 Python 3。作为机械化的替代品，您有什么建议？

【问题讨论】：

【解决方案1】：

SeleniumRC 和 selenium.py 是另一种选择（如果您需要抓取的页面对 Javascript 操作具有重要的“结构”角色，尤其是 AJAX-y 操作，那么这是为数不多的可行选项之一，因为 Mechanize 没有'不要在它正在抓取的页面上执行 Javascript）。

【讨论】：

【解决方案2】：

对于抓取和表单处理，您可以使用 lxml.html（虽然它不会自动获取和 cookie）。

scrapy 是一个专门用于抓取的库。

【讨论】：

【解决方案3】：

我在 Splinter 上取得了成功，这是一个基于 Selenium 构建的解决方案 - 同时提供更多 Pythonic API。

【讨论】：

【解决方案4】：

我已经使用twill 来满足我的很多测试需求。它可以作为“网页浏览”的独立语言或 Python 的库。它实际上在底层使用了 Mechanize，所以我不确定它是否能满足您的需求——您是否遇到了 Mechanize 固有的问题，或者您会从高级层中受益吗？

【讨论】：

【解决方案5】：

【讨论】：

【解决方案6】：

scrapelib 是另一种选择：https://github.com/sunlightlabs/scrapelib

【讨论】：