如何在 Java 中实现多线程 HttpURLConnection

Question

大家好，我有一个客户想检查他们网站的变化。他们有 500 万个 URL 需要检查。如果我要同步发送请求/ping，我需要 23 天。所以我正在寻找一个多线程的解决方案。我最初是在 Python 中解决这个问题的，但没有看到太大的改进/无法很好地扩展，所以我在 Java 中，如果这也失败了，我会在认输之前在 Go 中尝试。 em>

问题是我没有看到多线程有任何改进。也许我执行错了，有人可以帮助我吗？

编辑：

我只是在这里进行编辑，新来的人可以查看这篇文章的历史，看看我是如何解决这个问题的。

这是套接字建议，当我尝试在线程中运行它时失败，不确定我在这里也做错了什么。

主类：

package com.company;
import java.io.IOException;
import java.util.ArrayList;
import java.util.concurrent.TimeUnit;

public class Main extends Thread{
public static void main(String[] args) throws IOException {
long startTime = System.nanoTime();
Helpers.get("www.google.com", 80); // works here
String path = "test.txt";
boolean append = true;
for (int x = 0; x < 1; x++) {
ArrayList<String> urls = new ArrayList<String>();
// when x = 0, y = 0 | 10 /\ when x = 1, y = 10 | 20
for (int y= x * 10;y < ((x + 1) * 10); y++){
urls.add(String.format("www.google%d.com/", y)); // doesn't work here
}
Thread thread = new Thread(new Helpers(path, append, urls, 80));
thread.start();
thread.interrupt();
}
long endTime = System.nanoTime();
long duration = TimeUnit.NANOSECONDS.toMillis(endTime - startTime);
System.out.println(duration + " ms");
}
}

助手类：

package com.company;
import java.io.IOException;
import java.net.*;import java.io.FileWriter;
import java.io.PrintWriter;import java.util.ArrayList;
public class Helpers extends Thread{
public Helpers(String path, boolean append, ArrayList<String> urls, int port) throws IOException {
this.run(path, append, urls, port);
}
public void run(String path, boolean append, ArrayList<String> urls, int port) throws IOException {
for (String url : urls) {
String status = Helpers.get(url, port);Helpers.writeToFile(path, append, status);
System.out.println(status);
}
}
public static String get(String url, int port) throws IOException {
try {
Socket conn = new Socket(url, 80);
conn.close();
return url + " | Success";
}catch (UnknownHostException error){return url + " | Failed";
}
}

Answer 1

您可以尝试不同的方法。您可以尝试创建与 Web 服务器的套接字连接，然后对不同的 URL 进行多次调用 (GET/HEAD)，而不是为每个调用创建 HTTPConnection。

/**
 * hostname of the webserver e.g. www.w3.org
 * @param hostname
 * @param urlList
 * @throws IOException
 */
public static void makingHTTPCall( String hostname , List<String> urlList) throws IOException {

    SSLSocketFactory factory = (SSLSocketFactory)SSLSocketFactory.getDefault();
    SSLSocket socket =
            (SSLSocket)factory.createSocket(hostname, 443);


    BufferedReader in
            = new BufferedReader(
            new InputStreamReader(socket.getInputStream()));
    PrintWriter out
            = new PrintWriter(socket.getOutputStream(), true);

    /**
     *  if required create different url List and pass those list to separate thread for better performance
     */

    urlList.forEach(
            url -> {
                System.out.println("Making call to url /" + url);
                out.println("HEAD "  + url + " HTTP/1.1\r\n");
                out.flush();

                String line = "";

                try {
                    while ((line = in.readLine()) != null) {
                        System.out.println("Response" + line);
                        break;
                    }

                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
    );

    try {
            in.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
    out.close();

}

我已尝试使用 SSL 套接字，您可以根据自己的配置进行更改。

Answer 2

您执行错误。您应该使 Helpers 类扩展线程或实现可运行。将你需要的所有东西传递给这个类，例如，url、文件指针等。

在您的主类中，创建 Helper 对象，然后将其作为线程运行。