curl：如何限制 GET 的大小？答案

【问题标题】：curl: How to limit size of GET?curl：如何限制 GET 的大小？
【发布时间】：2014-11-10 02:12:43
【问题描述】：

我想用 curl 从 URL 中检索前 10k 字节（在我的例子中使用 PHP）。有没有办法指定这个？我认为 CURLOPT_BUFFERSIZE 会这样做，但它似乎只是确定在检索到所有内容之前重复使用的缓冲区的大小。

【问题讨论】：

标签： php curl

【解决方案1】：

这就是我在 C++ 中的做法

int offset = 0;
int size = 10*1024;

char range[256];
curl_slist_s *pHeaders = NULL;
snprintf(range, 256, "Range: bytes=%d-%d", offset, offset+size-1);

pHeaders = curl_slist_append(pHeaders, range);
curl_easy_setopt(pCurlHandle, CURLOPT_HTTPHEADER, pHeaders);

curl_slist_free_all(pHeaders);
pHeaders = NULL;

编辑：刚刚发现你的意思是在 php.ini 中。我会看看我是否能找到如何移植它。

认为这应该在 php 中工作：

$offset = 0;
$size = 10*1024;

$a = $offset;
$b = $offset + $size-1;

curl_easy_setopt(curlHandle, CURLOPT_HTTPHEADER, array("Range: bytes=$a-$b") );

【讨论】：

不幸的是，测试表明一些服务器忽略 Range: 并返回整个对象。我很惊讶没有办法告诉 curl 在达到最大尺寸后实际上停止接收。
它仅在 http 1.1 中受支持，因此 1.0 服务器将忽略它（但它们应该真正更新到 1.1！）
您可以做的另一种 hacky 方法是使用 curl 回调（不确定这是否在 php 中）并在下载 x 个字节后自行停止。
据我所知，有 CURLOPT_RANGE 选项。

【解决方案2】：

CURLOPT_RANGE 似乎在 PHP 中不起作用，尽管它在那里。至少当我尝试使用它时它没有影响，并且谷歌搜索会显示许多相同的消息。

【讨论】：

我认为这是因为“范围：字节”标头并未被所有服务器所接受。

【解决方案3】：

这个呢：

// 1-10240 is range of downloaded bytes (10 kb = 10240 byte)
curl_setopt($ch, CURLOPT_RANGE,"1-10240");

【讨论】：

【解决方案4】：

如果你使用fread而不是curl，虽然我更喜欢curl，但是你可以指定你想要接收的数据的大小，例如：

$fp = @fopen($url, "r") ;

$data = "" ;
if($fp) {
    while (!feof($fp)) {
        $data .= fread($fp, $size) ;
}
fclose($fp) ;

【讨论】：

【解决方案5】：

$html='';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_BUFFERSIZE, 128);
curl_setopt($ch, CURLOPT_NOPROGRESS, false);
curl_setopt($ch, CURLOPT_PROGRESSFUNCTION, function($DownloadSize, $Downloaded, $UploadSize, $Uploaded){ return ($Downloaded > 10240) ? 1 : 0;});
curl_setopt($ch, CURLOPT_WRITEFUNCTION, 'write_function');
curl_exec($ch);
curl_close($ch);
echo $html;

function write_function($handle, $data) {
    global $html;
    $html .= $data;
    if (strlen($html) > 10240) {
        return 0;
    }
    else
        return strlen($data);
}

【讨论】：