强制 cURL 在代理上使用 GET 来处理 HTTPs 请求

Question

我正在尝试在我的本地计算机上使用转发代理服务器（Apache Traffic Server 或 Squid），作为我的 cURL 调用的本地 HTTP 缓存。

我已经使用以下方式设置了代理：

curl_setopt($ch, CURLOPT_PROXY, 'http://localhost:8080');

当我查询一个HTTP网站时，cURL执行一个标准的HTTPGET代理请求，可以正常缓存：

GET http://example.com/ HTTP/1.1

但是，在查询 HTTPS 网站时，cURL 会改为执行 CONNECT，有效地将代理用作 TCP 隧道，并阻止它缓存响应：

CONNECT example.com:80 HTTP/1.1

有没有办法强制 cURL 执行 GET 请求，即使对于 HTTPS 网站也是如此？

我可以理解使用 TCP 隧道通过 HTTP 代理通过 HTTP 请求进行 HTTP 请求以实现安全性的基本原理，但由于我的代理服务器位于 localhost 上，因此我不在乎使用不安全的 HTTP 连接到代理，并希望使用 cURL执行GET 请求：

GET https://example.com/ HTTP/1.1

我尝试使用：

curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, false);

但这并没有改变任何东西。

Answer 1

我不相信这可以在客户端使用一些常见的配置设置来完成，因为它会否定 HTTPS 的全部目的（没有人可以窃听您的 HTTPS 流量）。

因此，您唯一的选择是将代理配置为基本上创建一个man-in-the-middle attack 来解密通过它的 HTTPS 流量。 Squid 代理应该使用他们的 "SSL bump" feature 来支持这一点。在this wiki 和更多setup docs here 上有一个很好的介绍。

squid 在这个机制中所做的是，它从客户端的 CONNECT 请求中获取远程服务器的地址，而不是仅仅创建一条通往服务器的盲道，它开始一个新的直接 HTTPS 请求 自行发送到服务器并保存回复。因此 Squid 可以访问所有流量并可以对其进行缓存或执行 Squid 可以对其执行的任何其他操作。

当向客户端发送回复时，它本身需要提供一个 HTTPS 证书（客户端期望 HTTPS 流量），因此在 Squid 中，对于所有代理域都有一个 automatically generate certificates 的功能。要配置它，您基本上必须创建一个本地证书颁发机构。请注意，这些自动生成的证书将是简单的自签名证书，因此在客户端，这将显示为不受信任的证书，您需要关闭对等验证 (CURLOPT_SSL_VERIFYPEER = false)。

我在 Apache 流量服务器中找不到任何类似的功能。他们似乎只支持反向代理模式下的SSL termination。

最后一点：请记住，这仍然是一种黑客攻击，解密 HTTPS 可能会带来法律或道德问题。未经客户同意，切勿这样做！

Answer 2

我认为这里的其他答案不了解您想要做什么。但有可能。

你想发出一个 https 请求并像这样完成它：

client <--http--> cache <--https--> remote server

因此，您通过本地网络上的 http 不安全地将 https 请求发送到本地缓存，然后让缓存在开放的互联网上以 https 的形式安全地获取它。

要做到这一点，您只需破解第一跳。您的客户端程序向缓存发出普通的 http 请求，但添加了一个标头，表示在下一跃点转换为 https，例如：

x-use-protocol: https

发明任何你喜欢的标题。为此，客户端和缓存都必须了解此标头才能进行转换。这不适合一般的网页浏览 - 或者您无法控制客户端的任何时候。但如果您同时编写客户端和缓存，这是一个很好的答案。