使用 R/RCurl 高效下载大文件

Question

我看到很多用RCurl下载二进制文件的例子都是这样的：

library("RCurl")
curl = getCurlHandle()
bfile=getBinaryURL (
        "http://www.example.com/bfile.zip",
        curl= curl,
        progressfunction = function(down, up) {print(down)}, noprogress = FALSE
)
writeBin(bfile, "bfile.zip")
rm(curl, bfile)

如果下载量很大，我想最好将它同时写入存储介质，而不是全部在内存中获取。

在 RCurl 文档中，有一些示例可以按块获取文件并在下载文件时对其进行操作，但它们似乎都称为文本块。

你能举个例子吗？

更新

一位用户建议对二进制文件使用 R 原生 download file 和 mode = 'wb' 选项。

在许多情况下，本机函数是一种可行的替代方案，但在许多用例中，本机函数不适用（https、cookie、表单等），这就是 RCurl 存在的原因。

Answer 1

这是工作示例：

library(RCurl)
#
f = CFILE("bfile.zip", mode="wb")
curlPerform(url = "http://www.example.com/bfile.zip", writedata = f@ref)
close(f)

它将直接下载到文件中。返回值将是（而不是下载的数据）请求的状态（0，如果没有错误发生）。

提及CFILE 在 RCurl 手册上有点简洁。希望将来它会包含更多详细信息/示例。

为方便起见，将相同的代码打包为函数（并带有进度条）：

bdown=function(url, file){
    library('RCurl')
    f = CFILE(file, mode="wb")
    a = curlPerform(url = url, writedata = f@ref, noprogress=FALSE)
    close(f)
    return(a)
}

## ...and now just give remote and local paths     
ret = bdown("http://www.example.com/bfile.zip", "path/to/bfile.zip")

Answer 2

嗯.. 使用 mode = 'wb' :) .. 运行它并跟随我的 cmets。

# create a temporary file and a temporary directory on your local disk
tf <- tempfile()
td <- tempdir()

# run the download file function, download as binary..  save the result to the temporary file
download.file(
    "http://sourceforge.net/projects/peazip/files/4.8/peazip_portable-4.8.WINDOWS.zip/download",
    tf ,
    mode = 'wb' 
)

# unzip the files to the temporary directory
files <- unzip( tf , exdir = td )

# here are your files
files