使用 docker.sock 在 Kubernetes 上托管 Jenkins答案

【问题标题】：Hosting Jenkins on Kubernetes while using docker.sock使用 docker.sock 在 Kubernetes 上托管 Jenkins
【发布时间】：2017-12-19 17:49:13
【问题描述】：

我正在尝试在 GKE 上托管 Jenkins 映像以运行构建。大多数情况下，我关注的是Google's tutorial for setting up Jenkins in Kubernetes。我有一个相当基本的设置，其中有一个运行构建的主节点。

我还希望能够在 Jenkins 环境中使用 Docker，因此我进入了 Jenkins 的全局工具配置并添加了一个 Docker 实例。我还在我的部署文件中映射了 docker.sock 以绕过“无法连接到 unix:///var/run/docker.sock 上的 Docker 守护程序。docker 守护程序是否正在运行？”问题。

我当前的部署如下所示：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins
  namespace: jenkins
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: master
    spec:
      containers:
      - name: master
        image: jenkins/jenkins:2.95
        ports:
        - containerPort: 8080
        - containerPort: 50000
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          periodSeconds: 10
          timeoutSeconds: 5
          successThreshold: 2
          failureThreshold: 5
        env:
        - name: JENKINS_OPTS
          valueFrom:
            secretKeyRef:
              name: jenkins
              key: options
        - name: JAVA_OPTS
          value: '-Xmx1400m'
        volumeMounts:
        - mountPath: /var/jenkins_home
          name: jenkins-home
        - mountPath: /var/run/docker.sock
          name: docker-socket
        securityContext:
          privileged: true
        resources:
          limits:
            cpu: 500m
            memory: 1500Mi
          requests:
            cpu: 500m
            memory: 1500Mi
      volumes:
      - name: jenkins-home
        gcePersistentDisk:
          pdName: jenkins-home
          fsType: ext4
          partition: 1
      - name: docker-socket
        hostPath:
          path: /var/run/docker.sock

很遗憾，任何构建都失败并出现以下错误：

Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: 
....
dial unix /var/run/docker.sock: connect: permission denied

大多数涉及此错误的 Google 搜索似乎与 Kubernetes 无关。

我错过了什么？

更新：在某种程度上，如果我使用这个配置会更好：

spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: master
    spec:
      securityContext:
        runAsUser: 0
      containers:

它基本上以 root 身份运行 Jenkins。不幸的是，这对管道管理身份验证凭据的方式产生了一些影响。当我尝试使用“withRepository(repoName, credentialId)”时，管道会向/var/jenkins_home/.dockercfg 添加一个条目，但稍后的 docker push 步骤似乎无法找到这些凭据（我认为后面的步骤最终会查找在/root/.dockercfg 或/root/.docker/config.json)。

【问题讨论】：

啊哈！如果我使用带有“runAsUser 0”的不同 securityContext，它可以工作。
我假设，如果 jenkins 由 Jenkins 用户运行，那么您可以将 Jenkins 用户添加到 docker 组。那么您不需要使用 Root 用户。它会更相关和安全。
是的，很遗憾我不知道该怎么做。因为它托管在 Kubernetes 环境中，所以我不能通过 SSH 连接到服务器并进行 groupadd。但也许这只是我需要弄清楚的事情。感谢您的评论！
我第一眼没有看到更新说明。我认为你应该把它放大，它解决了这里的问题，谢谢。

标签： docker jenkins kubernetes

【解决方案1】：

您可能想尝试以1000 用户身份运行它：

...
spec:
  ...
  securityContext:
    # Specify fsGroup for pod, so that the persistent volume is writable for the non-privileged uid/gid 1000
    runAsUser: 1000
    fsGroup: 1000
  ...

您可能还会发现this Helm chart 很有用。

【讨论】：

【解决方案2】：

volumes:  
- name: docker-sock-volume
          hostPath:
            path: /var/run/docker.sock
            type: File

尝试指定类型：文件

【讨论】：

感谢您的建议。我不得不承认，我在 Kubernetes 环境中使用 Jenkins 和 Docker 的方法遇到了各种其他问题，并且放弃了这种设置，所以我现在还不能真正测试这个建议。

【解决方案3】：

我希望这可以帮助遇到此问题并将卷类型更改为 runAsUser 文件的人到 1000 不起作用。

对我来说，设置 runAsUser : 0 对我有用。

我不确定这是否按照this post 的建议。但是您可以尝试设置 DOCKE_HOST 环境变量并检查它是否也适合您。

【讨论】：