Android：提取html源

Question

我正在尝试提取网站的来源，并且我进行了一些研究，许多解决方案都指向使用 HTTPClient 和 HTTPContext，但问题是我无法使用 URL 来获取此来源。我使用的网站是基于登录的，无论您以谁的身份登录，它都会显示相同的 URL（但是，当然，要提取的信息因用户而异）。因此，我想知道是否有办法直接从 webview 或类似的东西中获取源代码。总之，我不能使用 URL 中间，因为它是统一的并且基本上重定向到通用登录页面。

对不起，如果我遗漏了什么；我是新来的。提前感谢您的帮助。

编辑：

我发现了一个不同的 URL，每个用户都不同，但是还有一个（另一个）相关的问题： 使用jsoup，我可以做 Jsoup.connect("http://www.stackoverflow.com/").get().html(); （将 URL 替换为我要访问的内容），这实际上得到了 HTML 源代码，但问题再次出现，当我尝试访问受用户/密码保护的网站时，它会要求提供登录信息。我需要能够输入用户名和密码一次，并且基本上将其存储在某种临时事物（cookies/cache？）中，并保留该信息以供 jsoup 停止查询登录凭据，每次我基于某个请求请求来源时网址。我仍然找不到解决此问题的方法...

Answer 1

如果我理解正确（如果我没有理解，请告诉我）：

如果它受用户/密码保护，您是否应该发出 Http Post（例如，您从浏览器中执行的操作）并从该帖子中获取响应？像这样的东西：

http://www.informit.com/guides/content.aspx?g=java&seqNum=44

编辑：这是一个示例

我有一个看起来像这样的页面（它过于简单，但还是这样）：

<form action="../../j_spring_security_check" method="post" >
        <input id="j_username" name="j_username" type="text" />
            <input id="j_password" name="j_password" type="password"/>
                    <input type="image" class="submit" id="login" name="login" />
</form>

如果它是网页，则必须提供用户名/密码才能在此登录页面“之后”获取实际内容。你真正的问题是这里的 HTTP POST（我敢打赌你的情况是一样的）。

现在以编程方式获得相同的功能...

您将需要 apache http 客户端库（您可能不需要它，但这是最简单的方法）。这是它的 Maven 依赖项。你要为Android做这个，对吧？从我读过的内容来看，apache http 客户端是 Android 中的默认客户端。

<dependency>
<groupId>commons-httpclient</groupId>
<artifactId>commons-httpclient</artifactId>
<version>3.1</version>

import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.methods.PostMethod;

public class HttpPost {
    public static void main(String[] args) {

        HttpClient httpClient = new HttpClient();
        PostMethod postMethod = new PostMethod("http://localhost:20000/moika/moika/j_spring_security_check");
        postMethod.addParameter("j_username", "ACTUAL_USER");
        postMethod.addParameter("j_password", "ACTUAL_PASSWORD");

        try {
            int status = httpClient.executeMethod(postMethod);
            System.out.println("STATUS-->" + status);

            if(status == 302){
                Header header = postMethod.getResponseHeader("location");
                String location = header.getValue();
                System.out.println("HEADER_VALUE-->" + location);
                GetMethod getMethod = new GetMethod(location);
                httpClient.executeMethod(getMethod);
                String content = getMethod.getResponseBodyAsString();
                System.out.println("CONTENT-->" + content);
            }

            String contentInCaseOfNoRedirect = postMethod.getResponseBodyAsString();

        } catch (Exception exception){
            exception.printStackTrace();
        }
    }
}

这可能看起来有点奇怪，但我执行了重定向 (302)，在 RCF 中似乎存在问题，因此这是一个小的解决方法。

如果您不在服务器端执行任何重定向，那么您可以忽略我检查 302 的部分。

看看什么对你有用。

干杯， 尤金。

Answer 2

见http://docs.oracle.com/javase/tutorial/networking/urls/readingWriting.html

或查看示例代码

如何读取 URL 的内容

try{
        URL oracle = new URL("http://www.w3schools.com/html/html_tables.asp");
        URLConnection yc = oracle.openConnection();
        InputStream is = yc.getInputStream();
        String inputLine;
        BufferedReader in = new BufferedReader(
                new InputStreamReader(
                yc.getInputStream()));
        while ((inputLine = in.readLine()) != null) 
            System.out.println(inputLine);
        in.close();

        }catch(Exception ex){
            ex.printStackTrace();
        }