通过运行 Squid 的 Google Compute Engine 代理来自 Google App Engine 的出站 API 调用

Question

我正在尝试通过运行 Squid 代理服务器的 Google Compute Engine 服务器 VM 实例代理从 Google App Engine 应用程序发出的出站 API 调用。

目标是所有 REST api 调用都来自静态 IP 地址，以便第 3 方 API 能够识别并允许通过其防火墙的调用。

我已阅读并遵循此帖子中的说明：

connect Google App Engine and Google Compute Engine

到目前为止，我已经做到了以下几点：

1. 创建了一个 Google 云计算 VM 并成功为其分配了一个静态外部 IP 地址。
2. 已成功创建无服务器 VPC 访问连接器（所有资源位于同一 GAE 区域）。
3. 在我的 Google App Engine 项目（在 Node.js 上运行）中的 app.yaml 中添加了 vpc_access_connector 名称。
4. 使用 gcloud beta 部署应用，API 调用针对代理服务器的内部 IP 地址，使用正确的 Squid 默认端口 (3128)。
5. 从 GAE 应用程序发出请求时，我可以从服务器日志中看到正在尝试正确的 IP 地址和端口，但收到以下错误：“错误：无法建立隧道套接字，原因 = 连接 ECONNREFUSED [我的内部 IP 地址]:3128"

我也尝试过从云 shell 界面运行 curl 命令，但每次请求都会超时。

如果有人能帮助解决这个问题，我将非常感激。

Answer 1

这是一个可能的示例，说明如何通过运行 Squid 的 Compute Engine VM 在 NodeJS 运行时代理来自 App Engine 标准应用程序的出站 HTTP 请求，基于对可用的 Google Cloud Platform 文档12 的轻微修改和快速入门3。

1.创建无服务器 VPC 访问连接器：基本上按照2 创建连接器。更新 gcloud 组件并在您的项目上启用无服务器 VPC 访问 API 后，运行以下命令就足够了：

gcloud compute networks vpc-access connectors create [CONNECTOR_NAME] \
--network [VPC_NETWORK] \
--region [REGION] \
--range [IP_RANGE]

2。创建 Compute Engine VM 用作代理：基本上按照1 设置 Squid 代理服务器：

一个。 Reserve a static external IP address 和 assign it to a Compute Engine VM。

b.添加Firewall rule 以允许 Squid 的默认端口：3128 上的流量。如果您使用的是default VPC network，则此命令应该可以工作：gcloud compute firewall-rules create [FIREWALL_RULE_NAME] --network default --allow tcp:3128

c。使用以下命令在 VM 上安装 Squid sudo apt-get install squid3。

d。在 Squid 配置文件中为 VPC Access 连接器启用 acl localnet src 条目：

sudo sed -i 's:#\(http_access allow localnet\):\1:' /etc/squid/squid.conf
sudo sed -i 's:#\(acl localnet src [IP_RANGE]/28.*\):\1:' /etc/squid/squid.conf

例如：如果您使用 10.8.0.0 作为 [IP_RANGE] 字段的值来创建连接器，它应该类似于 sudo sed -i 's:#\(acl localnet src 10.8.0.0/28.*\):\1:' /etc/squid/squid.conf

e。用sudo service squid start启动服务器

3. App Engine应用修改：在Quickstart for Node.js的基础上修改以下文件，以创建应用crawls a webpage using the request-promise library并显示网页的HTML。请求被发送到网页using the VPC Access connector 和虚拟机作为代理，修改了 app.yaml 和 app.js 文件。

一个。包.json

...
    "test": "mocha --exit test/*.test.js"
  },
  "dependencies": {
    "express": "^4.16.3",
    "request": "^2.88.0",
    "request-promise": "^4.2.5"
  },
  "devDependencies": {
    "mocha": "^7.0.0",
...

b. app.js

'use strict';
// [START gae_node_request_example]
const express = require('express');
const app = express();
app.get('/', (req, res) => {
  res
    .status(200)
    .send('Hello, world!')
    .end();
});
//Add a handler to test the web crawler
app.get('/test', (req, res) => {
  var request = require('request-promise');
  request('http://www.input-your-awesome-website.com')
    .then(function (htmlString) {
      res.send(htmlString)
         .end();
    })
    .catch(function (err) {
      res.send("Crawling Failed...")
         .end();
    });
});
// Start the server
const PORT = process.env.PORT || 8080;
app.listen(PORT, () => {
  console.log(`App listening on port ${PORT}`);
  console.log('Press Ctrl+C to quit.');
});
// [END gae_node_request_example]

c。 app.yaml

runtime: nodejs10
vpc_access_connector:
  name: "projects/[PROJECT]/locations/[REGION]/connectors/[CONNECTOR_NAME]"
env_variables:
  HTTP_PROXY: "http://[Compute-Engine-IP-Address]:3128"
  HTTPS_PROXY: "http://[Compute-Engine-IP-Address]:3128"

每次您转到 /test 处理程序时，通过使用来自 VM 的 sudo tail -f /var/log/squid/access.log 命令并检查日志上的更改来监控请求是否通过代理。

注意事项：连接器、应用程序和 VM 需要位于同一区域才能工作，并且 these are the supported regions for the connector。