如何仅针对某些 IP 地址在 Kubernetes 中公开 tcp 服务？

Question

Nignx ingress provides 一种暴露 tcp 或 udp 服务的方法：你所需要的就是 public NLB。

但是这种方式 tcp 服务将被公开：NLB 不支持安全组或 acl，而且 nginx-ingress 在代理 tcp 或 udp 时没有任何过滤流量的方法。

我想到的唯一解决方案是内部负载均衡器和使用 haproxy 或 iptables 分离的非 k8s 实例，我实际上会根据源 ip 进行限制 - 然后将请求转发/代理到内部 NLB。

也许还有其他方法可以解决这个问题？

Answer 1

• 不要为此使用 nginx-ingress。要在 nginx-ingress 中获取真实 IP，您必须设置 controller.service.externalTrafficPolicy: Local，这反过来会改变 nginx-ingress 服务的公开方式——使其成为节点本地的。见https://kubernetes.io/docs/tasks/access-application-cluster/create-external-load-balancer/#preserving-the-client-source-ip。这反过来会导致您的 nginx-ingress LoadBalancer 拥有不健康的主机，这将在您的监控中产生噪音（与 NodePort 相反，其中每个节点都公开相同的端口并且健康）。除非您将 nginx-ingress 作为 DaemonSet 运行或使用其他 hack，例如限制将哪些节点添加为后端（思维调度、缩放），或将 nginx-ingress 移动到单独的一组节点/子网 - 对于这样一个简单的问题，IMO 中的每一个都非常令人头疼。更多关于这个问题：https://elsesiy.com/blog/kubernetes-client-source-ip-dilemma

• 使用普通服务type: LoadBalancer（经典ELB），它支持：

  • 来源范围：https://aws.amazon.com/premiumsupport/knowledge-center/eks-cidr-ip-address-loadbalancer/
  • service.beta.kubernetes.io/aws-load-balancer-extra-security-groups 注释，以防您想从外部管理源范围。

  在这种情况下，您的流量就像World -> ELB -> NodePort -> Service -> Pod，没有 Ingress。

Answer 2

你可以使用whitelist-source-range annotation。我们已经成功地将它用于几个用例，并且做得很好。

编辑：我说得太早了。重新阅读您的问题并了解您的确切用例将我带到了这个issue，它明确指出这些服务不能被列入白名单，并建议在防火墙级别解决这个问题。