如何使用我的爬虫输入表单域答案

【问题标题】：how to enter form fields using my crawler如何使用我的爬虫输入表单域
【发布时间】：2011-12-14 05:58:36
【问题描述】：

我必须爬取一个有一些安全页面的网站，并要求输入用户名和密码才能登录，一旦爬虫启动，它需要爬取安全页面，所以它应该询问用户的用户名和密码才能登录，这样爬虫可以爬取安全页面。当爬虫使用使用爬虫的用户帐户登录时，它应该爬取页面

【问题讨论】：

标签： java forms-authentication web-crawler

【解决方案1】：

您应该使用正确的用户名/密码发送 POST 请求。检查登录页面的表单 HTML 代码以获取更多详细信息，尤其是字段名称。

【讨论】：

【解决方案2】：

好的，我做了一些挖掘并回答了我自己的问题，这将对其他人有所帮助，使用 Htmlunit 可以轻松完成

    HtmlPage page = (HtmlPage) webClient.getPage("https:website name.com/loginpage");
    HtmlForm form = page.getFormBy("login_form");
        HtmlForm formm= page.getForms().get(0);
    formm.getInputByName("SignInEmailAddress").setValueAttribute("your emailid");
    formm.getInputByName("SignInPassword").setValueAttribute("password");
    page = (HtmlPage) formm.getInputByValue("Login").click();
        System.out.println(page);
        System.out.println(page.asText());

【讨论】：