如何通过 http 更有效地下载大文件？

Question

我正在尝试在 Kotlin 中下载大文件 (this question 的答案。除了我使用的是 Kotlin 而不是 java，所以语法略有不同。

val client = OkHttpClient()
val request = Request.Builder().url(urlString).build()
val response = client.newCall(request).execute()

val is = response.body().byteStream()

val input = BufferedInputStream(is)
val output = FileOutputStream(file)

val data = ByteArray(1024)
val total = 0L
val count : Int
do {
    count = input.read(data)
    total += count
    output.write(data, 0, count)
} while (count != -1)

output.flush()
output.close()
input.close()

它可以在不使用太多内存的情况下下载文件，但它似乎不必要地无效，因为它不断尝试写入更多数据而不知道是否有任何新数据到达。 在资源非常有限的虚拟机上运行它时，我自己的测试似乎也证实了这一点，因为它似乎使用更多的 CPU，但下载速度低于 python 中的类似脚本，并且使用wget。

我想知道是否有一种方法可以让我在 x 字节可用或文件结尾时调用回调，这样我就不必不断尝试获取更多数据知道有没有。

编辑： 如果使用 okhttp 无法实现，我使用其他东西没有问题，只是它是我习惯的 http 库。

Answer 1

从版本 11 开始，Java 有一个内置的 HttpClient 实现

具有非阻塞背压的异步数据流

如果您希望代码仅在有数据需要处理时运行，这就是您所需要的。

如果您有能力升级到 Java 11，则可以使用 HttpResponse.BodyHandlers.ofFile 正文处理程序开箱即用地解决您的问题。您不必自己实现任何数据传输逻辑。

Kotlin 示例：

fun main(args: Array<String>) {    
    val client = HttpClient.newHttpClient()

    val request = HttpRequest.newBuilder()
            .uri(URI.create("https://www.google.com"))
            .GET()
            .build()

    println("Starting download...")
    client.send(request, HttpResponse.BodyHandlers.ofFile(Paths.get("google.html")))
    println("Done with download.")
}

Answer 2

可以取消 BufferedInputStream。或者因为它在 Oracle 的 java 中的默认缓冲区大小是 8192，所以使用更大的 ByteArray，比如 4096。

不过最好的办法是使用 java.nio 或尝试 Files.copy：

Files.copy(is, file.toPath());

这会删除大约 12 行代码。

另一种方法是发送带有一个header的请求以放气gzip压缩Accept-Encoding: gzip，因此传输时间更短。在此处的响应中，当给出响应标头Content-Encoding: gzip 时，可能将is 包装在new GZipInputStream(is) 中。或者，如果可行的话，存储压缩后的文件，加上结尾.gz； mybiography.md 为 mybiography.md.gz。