无法更新 Kubernetes 集群上的 Calico CNI 配置

Question

直到几个月前，我才发现the "hostPort" configuration for Pods was not going to work with CNI based integrations。这意味着，对于任何使用 Calico 的 Kubernetes 集群，不使用 Service 或标记 hostNetwork=true（这有点极端），都无法直接在某个 Node 的端口上直接暴露 Pod 的端口。

从 Kubernetes 1.7.0 开始，这是可能的，但必须更改 Calico 配置才能让 the new "portmap" CNI plugin 进入，这是我正在尝试做的，但没有成功。我从一个新的 IBM Bluemix Container Service 集群开始。

我的 calico-node DaemonSet 有以下 CNI_NETWORK_CONFIG 环境变量：

{
  "name": "k8s-pod-network",
  "cniVersion": "0.3.1",
  "type": "calico",
  "etcd_endpoints": "__ETCD_ENDPOINTS__",
  "etcd_key_file": "__ETCD_KEY_FILE__",
  "etcd_cert_file": "__ETCD_CERT_FILE__",
  "etcd_ca_cert_file": "__ETCD_CA_CERT_FILE__",
  "log_level": "info",
  "mtu": 1480,
  "ipam": {
    "type": "calico-ipam"
  },
  "policy": {
    "type": "k8s",
    "k8s_api_root": "https://__KUBERNETES_SERVICE_HOST__:__KUBERNETES_SERVICE_PORT__",
    "k8s_auth_token": "__SERVICEACCOUNT_TOKEN__"
  },
  "kubernetes": {
    "kubeconfig": "__KUBECONFIG_FILEPATH__"
  }
}

我在这里所做的只是尝试将其替换为以下配置：

{
  "name": "k8s-pod-network",
  "cniVersion": "0.3.1",
  "plugins": [{
    "type": "calico",
    "etcd_endpoints": "__ETCD_ENDPOINTS__",
    "etcd_key_file": "__ETCD_KEY_FILE__",
    "etcd_cert_file": "__ETCD_CERT_FILE__",
    "etcd_ca_cert_file": "__ETCD_CA_CERT_FILE__",
    "log_level": "info",
    "mtu": 1480,
    "ipam": {
      "type": "calico-ipam"
    },
    "policy": {
      "type": "k8s",
      "k8s_api_root": "https://__KUBERNETES_SERVICE_HOST__:__KUBERNETES_SERVICE_PORT__",
      "k8s_auth_token": "__SERVICEACCOUNT_TOKEN__"
    },
    "kubernetes": {
      "kubeconfig": "__KUBECONFIG_FILEPATH__"
    }
  },
    {
      "type": "portmap",
      "snat": true,
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}

calico-node pod 在强制重启后运行成功，但我自己的 Pod 在初始化期间一直卡在“Pending”状态，并出现来自“kubelet NODE_IP”的“Error syncing pod”事件。

我希望能在这个问题上提供一些帮助。提前致谢。

Answer 1

就内容而言，您的内容看起来很合理，我认为问题可能是您需要将配置文件的名称从以.conf 结尾更改为.conflist。有一个 PR 有一些 WIP 更改 https://github.com/projectcalico/calico/pull/903 用于在 calico 清单中启用主机端口，您可以将其与您所做的进行比较。

如果你通过 daemonset 设置文件名，你应该删除主机上以前的配置文件，因为发布的 install-cni 容器不会清理以前的配置，我不确定 kubelet 会使用哪个配置文件。