HTTPURLConnection 不遵循从 HTTP 到 HTTPS 的重定向

Question

我不明白为什么 Java 的 HttpURLConnection 不遵循从 HTTP 到 HTTPS URL 的 HTTP 重定向。我使用以下代码获取https://httpstat.us/的页面：

import java.net.URL;
import java.net.HttpURLConnection;
import java.io.InputStream;

public class Tester {

    public static void main(String argv[]) throws Exception{
        InputStream is = null;

        try {
            String httpUrl = "http://httpstat.us/301";
            URL resourceUrl = new URL(httpUrl);
            HttpURLConnection conn = (HttpURLConnection)resourceUrl.openConnection();
            conn.setConnectTimeout(15000);
            conn.setReadTimeout(15000);
            conn.connect();
            is = conn.getInputStream();
            System.out.println("Original URL: "+httpUrl);
            System.out.println("Connected to: "+conn.getURL());
            System.out.println("HTTP response code received: "+conn.getResponseCode());
            System.out.println("HTTP response message received: "+conn.getResponseMessage());
       } finally {
            if (is != null) is.close();
        }
    }
}

这个程序的输出是：

原文网址：http://httpstat.us/301 连接到：http://httpstat.us/301 收到的 HTTP 响应代码：301 收到的 HTTP 响应消息：已永久移动

对http://httpstat.us/301 的请求会返回以下（缩短的）响应（看起来绝对正确！）：

HTTP/1.1 301 Moved Permanently
Cache-Control: private
Content-Length: 21
Content-Type: text/plain; charset=utf-8
Location: https://httpstat.us

很遗憾，Java 的 HttpURLConnection 不遵循重定向！

请注意，如果您将原始 URL 更改为 HTTPS (https://httpstat.us/301)，Java 将按预期遵循重定向！？

Answer 1

仅当它们使用相同的协议时才会遵循重定向。 （请参阅源代码中的the followRedirect() method。）无法禁用此检查。

尽管我们知道它反映了 HTTP，但从 HTTP 协议的角度来看，HTTPS 只是另一种完全不同的未知协议。未经用户批准就跟随重定向是不安全的。

例如，假设应用程序设置为自动执行客户端身份验证。用户希望匿名上网，因为他使用的是 HTTP。但是，如果他的客户端在不询问的情况下使用 HTTPS，他的身份就会暴露给服务器。

Answer 2

design 的 HttpURLConnection 不会自动从 HTTP 重定向到 HTTPS（反之亦然）。遵循重定向可能会产生严重的安全后果。 SSL（因此是 HTTPS）创建一个用户独有的会话。此会话可重复用于多个请求。因此，服务器可以跟踪来自单个人的所有请求。这是一种弱形式的身份，是可以利用的。此外，SSL 握手可以请求客户端的证书。如果发送到服务器，则将客户端的身份提供给服务器。

正如erickson 指出的那样，假设应用程序设置为自动执行客户端身份验证。用户希望匿名上网，因为他使用的是 HTTP。但是，如果他的客户端在不询问的情况下使用 HTTPS，他的身份就会暴露给服务器。

程序员必须采取额外的步骤来确保在从 HTTP 重定向到 HTTPS 之前不会发送凭据、客户端证书或 SSL 会话 ID。默认是发送这些。如果重定向伤害了用户，请不要遵循重定向。这就是不支持自动重定向的原因。

了解了这一点，下面是重定向后的代码。

  URL resourceUrl, base, next;
  Map<String, Integer> visited;
  HttpURLConnection conn;
  String location;
  int times;

  ...
  visited = new HashMap<>();

  while (true)
  {
     times = visited.compute(url, (key, count) -> count == null ? 1 : count + 1);

     if (times > 3)
        throw new IOException("Stuck in redirect loop");

     resourceUrl = new URL(url);
     conn        = (HttpURLConnection) resourceUrl.openConnection();

     conn.setConnectTimeout(15000);
     conn.setReadTimeout(15000);
     conn.setInstanceFollowRedirects(false);   // Make the logic below easier to detect redirections
     conn.setRequestProperty("User-Agent", "Mozilla/5.0...");

     switch (conn.getResponseCode())
     {
        case HttpURLConnection.HTTP_MOVED_PERM:
        case HttpURLConnection.HTTP_MOVED_TEMP:
           location = conn.getHeaderField("Location");
           location = URLDecoder.decode(location, "UTF-8");
           base     = new URL(url);               
           next     = new URL(base, location);  // Deal with relative URLs
           url      = next.toExternalForm();
           continue;
     }

     break;
  }

  is = conn.openStream();
  ...

Answer 3

有什么叫做HttpURLConnection.setFollowRedirects(false)的东西吗？

你总是可以打电话

conn.setInstanceFollowRedirects(true);

如果您想确保不影响应用的其余行为。

Answer 4

正如你们上面提到的，setFollowRedirect 和 setInstanceFollowRedirects 仅在重定向协议相同时自动工作。即从http到http和https到https。

setFolloRedirect 处于类级别，并为 url 连接的所有实例设置此设置，而 setInstanceFollowRedirects 仅用于给定实例。这样我们就可以针对不同的实例有不同的行为。

我在这里找到了一个很好的例子http://www.mkyong.com/java/java-httpurlconnection-follow-redirect-example/

Answer 5

另一种选择是使用 Apache HttpComponents Client：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
</dependency>

示例代码：

CloseableHttpClient httpclient = HttpClients.createDefault();
HttpGet httpget = new HttpGet("https://media-hearth.cursecdn.com/avatars/330/498/212.png");
CloseableHttpResponse response = httpclient.execute(httpget);
final HttpEntity entity = response.getEntity();
final InputStream is = entity.getContent();

Answer 6

HTTPUrlConnection 不负责处理对象的响应。它的性能符合预期，它抓取了请求的 URL 的内容。解释响应的功能由您决定。没有规范就无法读取开发者的意图。