【问题标题】:Can scrapy be used to complete form submission and do everything what a browser can do可以用scrapy完成表单提交,做浏览器能做的一切吗
【发布时间】:2013-01-11 06:08:15
【问题描述】:

我有一项任务需要向网站提交表单,但他们不提供任何 API。我目前正在使用 webdriver,但由于我的代码和浏览器之间的异步特性,我遇到了很多问题。我正在寻找一个轻量级的可靠库/工具,使用它可以完成用户使用浏览器执行的所有任务。

Casperjs 是可以完成我工作的选项之一,但我更熟悉 python,并且与 casperjs 相比,scrapy 拥有更大的开发者社区。​​p>

Navigation utility without browser, light weight and fail-proof 是相关问题之一。

【问题讨论】:

  • 好的,您可以提交表单:doc.scrapy.org/en/latest/topics/…
  • 在功能方面与网络浏览器相比是否有任何限制。我想要的表单很复杂,有任何表单都可以有的各种网络项目。
  • Scrapy不能运行javascript,所以如果一些表单值是通过javascript计算出来的,会很复杂。

标签: python scrapy phantomjs casperjs


【解决方案1】:

简而言之是。 scrapy 无法渲染 java 脚本,但浏览器可以。

您可以使用 Selenium。

如果你确定要使用 scrapy 并且需要运行 javascript,你可以使用

scrapy with selenium

scrapy with gtk/webkit/jswebkit

scrapy with webdrivers

【讨论】:

    【解决方案2】:

    如果你喜欢 CasperJS 但又想坚持使用 Python,你应该看看Ghost.py

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-07-08
      • 1970-01-01
      • 2013-03-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多