cURL 适用于终端，但不适用于 PHP答案

【问题标题】：cURL works from Terminal, but not from PHPcURL 适用于终端，但不适用于 PHP
【发布时间】：2015-01-21 04:12:45
【问题描述】：

我遇到了一个相当奇怪的问题。

我正在尝试使用 PHP 中的 curl 登录远程 moodle 安装。

我有一个 curl 命令，可以在终端中完美运行。

当我将同样的东西翻译成 PHP 时，它可以工作，但它只是无法登录。通过终端成功登录的完全相同的值，以某种方式通过 PHP 跳闸登录系统并且它没有登录。相反，它会再次返回登录页面。

我的 cURL 命令（数据部分省略，因为它有我的用户名和密码）：

curl 'http://moodle.tsrs.org/login/index.php'
-H 'Pragma: no-cache'
-H 'Origin: http://moodle.tsrs.org'
-H 'Accept-Encoding: gzip, deflate'
-H 'Accept-Language: en-US,en;q=0.8'
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
-H 'Content-Type: application/x-www-form-urlencoded'
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
-H 'Cache-Control: no-cache'
-H 'Referer: http://moodle.tsrs.org/login/index.php'
-H 'Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)'
-H 'Connection: keep-alive'

对应的PHP代码：

function login() {
    $username = $_POST['username'];
    $password = $_POST['password'];

    if(!isset($_POST['username']) || !isset($_POST['password'])) {
        echo "No login data received";
        return;
    }

    $creq = curl_init();

    $data = array('username' => $username, 'password' => $password, 'testcookies'=> '1');

    $headers = array('Pragma: no-cache', 'Origin: http://moodle.tsrs.org', 'Accept-Encoding: ', 'Accept-Language: en-US,en;q=0.8', 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36', 'Content-Type: application/x-www-form-urlencoded', 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Cache-Control: no-cache', 'Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)', 'Connection: keep-alive' );
        curl_setopt_array($creq, array(
        CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_POST => true,
        CURLOPT_ENCODING => '',
        CURLINFO_HEADER_OUT => true,
        CURLOPT_POSTFIELDS => $data,
        CURLOPT_HTTPHEADER => $headers,
        CURLOPT_FOLLOWLOCATION => false
    ));

    $output = curl_exec($creq);

    echo print_r(curl_getinfo($creq));

    echo "\n" . $output . "\n";
}

还有 curlinfo 的输出：

Array
(
    [url] => http://moodle.tsrs.org/login/index.php
    [content_type] => text/html; charset=utf-8
    [http_code] => 200
    [header_size] => 541
    [request_size] => 945
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 1.462409
    [namelookup_time] => 0.002776
    [connect_time] => 0.330766
    [pretransfer_time] => 0.330779
    [size_upload] => 365
    [size_download] => 8758
    [speed_download] => 5988
    [speed_upload] => 249
    [download_content_length] => -1
    [upload_content_length] => 365
    [starttransfer_time] => 0.694866
    [redirect_time] => 0
    [certinfo] => Array
        (
        )

    [primary_ip] => 125.22.33.149
    [redirect_url] =>
    [request_header] => POST /login/index.php HTTP/1.1
Host: moodle.tsrs.org
Pragma: no-cache
Origin: http://moodle.tsrs.org
Accept-Language: en-US,en;q=0.8
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Cache-Control: no-cache
Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
Connection: keep-alive
Content-Length: 365
Expect: 100-continue
Content-Type: application/x-www-form-urlencoded; boundary=----------------------------83564ee60d56


)

有人知道这有什么可能的原因吗？我试过用 COOKIEFILE 和 COOKIEJAR 替换硬编码的 cookie，但它并没有改变任何东西。

【问题讨论】：

我以前做过同样的事情，但找不到代码-我认为是因为它在登录后重定向，所以您需要允许它重定向-使用 curl_setopt($curl, CURLOPT_MAXREDIRS, 10);
问题中的标题不相同。命令行 cURL 包括 Referer 标头和 Accept-Encoding 的值。 PHP cURL 根本不包括Referer 和Accept-Encoding 的空白区域。 @RichardTheKiwi，澄清一下，您的问题是否也是特定于模块的？
重新加载后，有没有在浏览器中找到cookie？？

标签： php curl moodle

【解决方案1】：

通过查看实际由 cURL 完成的所有内容，可以更好地调试此问题。这是通过在命令中添加详细标志来完成的：-v。

$ curl localhost/login [...] -v

我们可以通过添加CURLOPT_VERBOSE 选项从PHP 的curl 中获得same 输出。请注意，通过添加这一行，您将指示 cURL 将相同的信息输出到 STDOUT - 它不会被返回并且内容不会被发送到浏览器，因此必须在终端中进行调试。

curl_setopt($curl, CURLOPT_VERBOSE, 1);

通过这样做，您可以获得两个 HTTP 请求的一致且可比较的输出，它应该看起来像这样：

POST / HTTP/1.1
Host: localhost:3000
Pragma: no-cache
Origin: http://moodle.tsrs.org
Accept-Language: en-US,en;q=0.8
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Cache-Control: no-cache
Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
Connection: keep-alive
Content-Length: 250
Expect: 100-continue
Content-Type: application/x-www-form-urlencoded; boundary=------------------------b4d79f17a3887f2d

< HTTP/1.1 100 Continue
< HTTP/1.1 200 OK
< X-Powered-By: Express
< Content-Type: application/json; charset=utf-8
< Content-Length: 2
< ETag: W/"2-mZFLkyvTelC5g8XnyQrpOw"
< Date: Thu, 22 Dec 2016 19:13:40 GMT
< Connection: keep-alive

左：问题中提供的命令行 cURL（带有额外的 -v 标志）

正确：问题中发布的 PHP cURL（启用CURLOUT_VERBOSE）

如您所见，标题不相同，这说明了这一点。 PHP 调用缺少 Accept-Encoding 和 Referer 标头。

如果没有出现任何问题，让我们尝试将 PHP 中的一些 cURL 设置改回原来的 cURL 默认值。

Internally, PHP opts to override some defaults in cURL 不告诉你。虽然这些设置应该没问题，但让我们通过将它们显式重置回 cURL 默认值来改回它们：

curl_setopt($curl, CURLOPT_DNS_CACHE_TIMEOUT, 60);
curl_setopt($curl, CURLOPT_DNS_USE_GLOBAL_CACHE, 0);
curl_setopt($curl, CURLOPT_MAXREDIRS, -1);
curl_setopt($curl, CURLOPT_NOSIGNAL, 0);

【讨论】：

Moodle 有一个验证 HTTP_REFERER 的选项。在看到您的答案之前，我将发布相同的答案。 Referer 标头绝对需要检查，即使可能还存在更多问题。
完美。我认为自己受过教育。非常感谢

【解决方案2】：

在传递给 curl 之前在 $data 数组上使用 http_build_query 以避免 Content-Type: application/x-www-form-urlencoded; boundary=---。这也确保对密码中的任何特殊字符进行编码。

curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data));

如下调整你的 curl 请求：

通过指向$cookies = '/tmp/some/dir/xyz.cookie.txt' 的cookie 文件向登录页面发出GET 请求。确保使用 cookie 名称的完整路径。然后关闭卷曲手柄。这会将 cookie 存储在 cookie 文件中。

$creq = curl_init();
curl_setopt_array($creq, array(
  CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => '',
  CURLINFO_HEADER_OUT => true,
  CURLOPT_HTTPHEADER => $headers,
  CURLOPT_FOLLOWLOCATION => false,
  CURLOPT_COOKIEJAR => $cookies // save cookie
));
$output = curl_exec($creq);
curl_close($creq);

现在使用第二个 curl 请求发出 POST 请求。这次指向同一个带有 COOKIEFILE 选项的 cookie 文件。

$creq = curl_init();
curl_setopt_array($creq, array(
  CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_POST => true,
  CURLOPT_ENCODING => '',
  CURLINFO_HEADER_OUT => true,
  CURLOPT_POSTFIELDS => http_build_query ($data),
  CURLOPT_HTTPHEADER => $headers,
  CURLOPT_FOLLOWLOCATION => false,
  CURLOPT_COOKIEJAR => $cookies, // save cookie
  CURLOPT_COOKIEFILE => $cookies // load cookie
);
$output = curl_exec($creq);
curl_close($creq);

有时服务器会在发出登录请求时查找 cookie（以确保请求是在访问登录页面后发出的）。

【讨论】：

This also ensures to encode any special characters from the password 这是误导，multipart/form-data 编码的数据是二进制安全的，当传递一个数组时，curl 会自动对其进行编码。此外，在传输大型非 ascii 数据时，它使用的带宽比application/x-www-form-urlencoded 少得多，form-data 的标头开销更大（因此它不会对小数据使用更少的 bw），但它不对数据进行编码一点也不。使用 urlencoded，（几乎）每个非 ascii 字节都是 3 个字节编码的。在 form-data 中，所有字节（包括非 ascii 字节）正好是 1 个字节。
但是，这可能就是它不起作用的原因。 curl命令行使用application/x-www-form-urlencoded编码，而php curl（使用他的代码）使用multipart/form-data编码，服务器可能拒绝。使用 http_build_query 将使 php curl 代码也使用 application/x-www-form-urlencoded

【解决方案3】：

您的问题很可能与 cURL 默认为每个 POST 请求发送的 HTTP 标头 Expect: 100-continue 有关。

Expect: 100-continue 标头用于包含大数据的 POST 请求，当客户端不确定服务器是否会接受此类请求时。在这种情况下，客户端首先发送仅包含 Expect: 100-continue 的标头的请求，如果服务器响应成功，则发送带有正文（POST 数据）的相同请求。

问题在于，并非所有 Web 服务器都能正确处理此标头。在这种情况下，不希望发送此标头。

解决方案是通过将array('Expect:') 传递给CURLOPT_HTTPHEADER 选项，从发送标头中手动删除Expect 标头。在您的情况下，您可以简单地将 'Expect:' 字符串添加到 $headers 数组：

$headers[] = 'Expect:';

【讨论】：

刚才试过了。没有变化
@Raghav Sood 您必须显示响应标头。这可能有助于找到问题的根源。将CURLOPT_HEADER 添加到选项数组并输出响应标头。您还必须提供 CLI cURL 请求的响应标头

【解决方案4】：

我怀疑您第一次尝试使用 curl 命令是在 index.php 文件中使用 GET 方法。我建议您在命令行中的第一个 curl 请求中启用 --trace-ascii 并查看页面是否正在发出 GET 请求。如果是，您应该更改使用 POST 方法的 PHP 脚本。如果将 CURLOPT_POST 更改为 false，PHP 脚本应该可以工作。

【讨论】：

我相当肯定这是一个 POST 请求，因为我从 Chrome 开发工具中提取了它，而 Moodle 的文档严格规定只能通过 POST 登录。此外，我正在卷曲的页面似乎确实收到了我的 POST 数据，因为它返回给 PHP 的登录页面预先填写了我的用户名，该用户名作为 POST 变量发送