在不在 <form> 标签中的表单上使用 ruby​​ mechanize？

Question

所以我正在尝试抓取一个网站，该网站具有我认为的表单 - 用于专门搜索的几个输入，例如 s 和文本输入 - 不在

标记内。
相反，它们似乎被分组在

s 中。

网站使用 JavaScript 从那里查询，所以基本上我要做的就是填写“表单”（各种输入），然后点击提交按钮并保护返回的信息。

但是，我无法在机械化中找到一种方法来抓取不在表单中的按钮、选择等。有什么办法吗？

【问题讨论】：

• 您将无法使用form_with 来定位不在表单内的元素，如果您正在尝试这样做...但是，由于您既没有向我们展示HTML 和您的代码，除了“是的，有办法”之外，我还能提供更多建议。
• 例如，您可以通过 ID、CSS、XPath、iFrame 或其他方式定位元素。但我无法建议什么是可能的，更不用说什么是“最好的”了，因为我不知道你的目标 HTML 是什么
• @TomLord 不只是机械化 HTML 解析器之上的刮板吗？如果您想运行 javascript，则需要浏览器自动化 (Capybara)。
• @TomLord 我希望我可以共享 HTML 但不能，我只是很困惑机械化会如此严格以至于只允许使用表单进行定位，所以我想我将不得不使用 Nokogiri和 xpaths。感谢您的回复！
• @DesPhantomes mechanize 不只允许表单定位。您可以定位任何元素。但是，如果您使用form_for 方法，那么根据定义，该方法仅在针对表单时有效。

Answer 1

Mechanize 无法在 JS 交互网站上运行。

对于网页抓取，我建议使用 Kimurai 框架。它建立在 Mechanize 之上。

Kimurai 是一个用 Ruby 编写的现代网络抓取框架，它可以工作 开箱即用的 Headless Chromium/Firefox、PhantomJS 或简单 HTTP 请求并允许抓取并与呈现的 JavaScript 交互 网站。

在抓取时使用任何可用的JS engines。

您可以执行触发事件以显示表单的 JS，然后您可以使用 capybara 助手填写表单并提交

Capybara 的所有功能：使用 click_on、fill_in、select、 选择、设置、go_back 等到