【问题标题】:Docker: go get from a private GitHub repoDocker:从私有 GitHub 存储库中获取
【发布时间】:2023-03-20 07:05:01
【问题描述】:

我正在尝试运行一个容器,该容器将公开我在私有 GitHub 存储库上的包中的 golang 服务。

由于我正在使用 GCE,因此我的起始图像是 google/debian:wheezy。

安装所有必需的依赖项和工具后,我正在运行

RUN go get github.com/<my_org>/<my_package>

其中包是私有仓库。

我已经添加了我的 GitHub SSH 密钥以允许从私有 repo 克隆到 docker 文件:

ADD priv/id_rsa /root/.ssh/id_rsa
ADD priv/id_rsa.pub /root/.ssh/id_rsa.pub

不过,当 go 尝试克隆 repo 时,我在 go get 过程中遇到错误:

# cd .; git clone https://github.com/<my_org>/<my_package> /gopath/src/github.com/<my_org>/<my_package>
Cloning into '/gopath/src/github.com/<my_org>/<my_package>'...
fatal: could not read Username for 'https://github.com': No such device or address
package github.com/<my_org>/<my_package>: exit status 128

为了调试问题,我正在运行 Dockerfile:

RUN ssh-keyscan -t rsa github.com 2>&1 >> /root/.ssh/known_hosts

这告诉我存在一些问题。看起来验证私钥是可以的,但公钥上发生了一些奇怪的事情。这是完整的 ssh-keyscan 结果:

OpenSSH_6.0p1 Debian-4+deb7u2, OpenSSL 1.0.1e 11 Feb 2013
Pseudo-terminal will not be allocated because stdin is not a terminal.
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug1: Connecting to github.com [192.30.252.129] port 22.
debug1: Connection established.
debug1: permanently_set_uid: 0/0
debug1: identity file /root/.ssh/id_rsa type 1
debug1: Checking blacklist file /usr/share/ssh/blacklist.RSA-2048
debug1: Checking blacklist file /etc/ssh/blacklist.RSA-2048
debug1: identity file /root/.ssh/id_rsa-cert type -1
debug1: identity file /root/.ssh/id_dsa type -1
debug1: identity file /root/.ssh/id_dsa-cert type -1
debug1: identity file /root/.ssh/id_ecdsa type -1
debug1: identity file /root/.ssh/id_ecdsa-cert type -1
debug1: Remote protocol version 2.0, remote software version libssh-0.6.0
debug1: no match: libssh-0.6.0
debug1: Enabling compatibility mode for protocol 2.0
debug1: Local version string SSH-2.0-OpenSSH_6.0p1 Debian-4+deb7u2
debug1: SSH2_MSG_KEXINIT sent
debug1: SSH2_MSG_KEXINIT received
debug1: kex: server->client aes128-ctr hmac-sha1 none
debug1: kex: client->server aes128-ctr hmac-sha1 none
debug1: sending SSH2_MSG_KEX_ECDH_INIT
debug1: expecting SSH2_MSG_KEX_ECDH_REPLY
debug1: Server host key: RSA 16:27:ac:a5:76:28:2d:36:63:1b:56:4d:eb:df:a6:48
debug1: Host 'github.com' is known and matches the RSA host key.
debug1: Found key in /root/.ssh/known_hosts:1
Warning: Permanently added the RSA host key for IP address '192.30.252.129' to the list of known hosts.
debug1: ssh_rsa_verify: signature correct
debug1: SSH2_MSG_NEWKEYS sent
debug1: expecting SSH2_MSG_NEWKEYS
debug1: SSH2_MSG_NEWKEYS received
debug1: Roaming not allowed by server
debug1: SSH2_MSG_SERVICE_REQUEST sent
debug1: SSH2_MSG_SERVICE_ACCEPT received
debug1: Authentications that can continue: publickey
debug1: Next authentication method: publickey
debug1: Offering RSA public key: /root/.ssh/id_rsa
debug1: Server accepts key: pkalg ssh-rsa blen 279
debug1: key_parse_private_pem: PEM_read_PrivateKey failed
debug1: read PEM private key done: type <unknown>
debug1: read_passphrase: can't open /dev/tty: No such device or address
debug1: Trying private key: /root/.ssh/id_dsa
debug1: Trying private key: /root/.ssh/id_ecdsa
debug1: No more authentication methods to try.
Permission denied (publickey).

我在 priv/public 密钥上尝试了 chmod 600 和 chmod 700,但这没有帮助。

有什么线索吗?有没有人成功运行 go get 从 docker 上的 debian 上的私有 repos 获取?

【问题讨论】:

  • 您是否以 root 身份运行 go get 命令?您应该在您的用户帐户中使用go get,并将您的密钥存储在/home/yourAccount
  • 是否会像*.com/a/19798820/6309 帮助中那样检查权限和共享首选项?

标签: github go docker google-compute-engine boot2docker


【解决方案1】:

go get 正在尝试使用 https,完全忽略 ssh。

你必须设置~/.netrc:

ADD priv/.netrc /root/.netrc

netrc 的样子:

machine github.com login github-username password github-password

参考:

【讨论】:

  • 感谢您的帮助。事情是 - 在我的机器(Mac)上,使用私人回购完美地工作(身份验证顺利进行)。该问题仅发生在我正在处理的 debian docker 映像上。另外,请注意在 go get 发生之前观察到错误(ssh-keyscan 输出显示有我发布的错误)。
  • @orcaman read PEM private key done: type &lt;unknown&gt; 可能是损坏的私钥。
  • "go get 正在尝试使用 https,完全忽略 ssh。"实际上,RUN git config --global url."git@github.com:".insteadOf "https://github.com" 可以解决这个问题
【解决方案2】:

经过一番折腾,我明白了这一点。这不是一个理想的解决方案,因为它涉及安装 SSH,以及在容器中构建私钥。本示例基于官方Docker golang image(Debian Wheezy):

与您的示例的主要区别在于您需要一个 git config 命令来强制使用 ssh 而不是默认的 https。

FROM golang

RUN apt-get update && apt-get install -y ca-certificates git-core ssh

ADD keys/my_key_rsa /root/.ssh/id_rsa
RUN chmod 700 /root/.ssh/id_rsa
RUN echo "Host github.com\n\tStrictHostKeyChecking no\n" >> /root/.ssh/config
RUN git config --global url.ssh://git@github.com/.insteadOf https://github.com/

ADD . /go/src/github.com/myaccount/myprivaterepo

RUN go get github.com/myaccount/myprivaterepo
RUN go install github.com/myaccount/myprivaterepo

【讨论】:

  • 我对这个解决方案的问题是它需要将我的私有 ssh 密钥复制到复制到我的源代码所在的目录中。有没有办法避免这种情况?
  • 同意nojo,私钥不应该放在容器里面,毕竟是“私有的”
  • 也许使用多阶段构建可以解决这个问题,因为凭据只保留在构建阶段而不是最终图像中?更多详情请见docs.docker.com/develop/develop-images/multistage-build
【解决方案3】:

详细阐述 OneOfOne 的 ~/.netrc 答案,这就是我在 linux 上使用 Jenkins 所做的事情:

FROM golang:1.6

ARG GITHUB_USER=$GITHUB_USER
ARG GITHUB_PASS=$GITHUB_PASS

# Copy local package files to the container's workspace.
ADD . /go/src/github.com/my-org/my-project
WORKDIR /go/src/github.com/my-org/my-project/

# Build application inside the container.
RUN echo "machine github.com\n\tlogin $GITHUB_USER\n\tpassword $GITHUB_PASS" >> ~/.netrc && \
    go get github.com/tools/godep && \
    go get github.com/onsi/ginkgo/ginkgo && \
    godep restore && \
    ginkgo -r --randomizeAllSpecs --randomizeSuites --failOnPending && \
    godep go install && \
    rm -f ~/.netrc

ENTRYPOINT /go/bin/my-project

EXPOSE 8080

docker build 命令是:

docker build \
    --build-arg GITHUB_USER=xxxxx \
    --build-arg GITHUB_PASS=yyyyy \
    -t my-project .

两个ARG 指令映射--build-args,因此 docker 可以在 Dockerfile 中使用它们。

RUN 的第一行和最后一行创建和删除~/.netrc

在 Jenkins 中,我在构建命令中使用来自 git pull 的相同凭据。

在此策略中,密码不会在 docker 构建过程中回显,也不会保存在 docker 映像的任何层上。另请注意,在构建过程中,银杏测试结果会打印到控制台。

【讨论】:

  • 这个策略的问题是 1. History 以纯文本形式记录了你的用户名和密码。因此,任何对您的计算机有任何访问权限的人都可以运行“历史记录”并查看您的凭据,无论是否意外。 2. 你不能在 docker-compose 中使用该策略。如果这样做,您现在会以纯文本形式在文件中公开您的凭据,更糟糕的是,可能会意外提交文件中的更改。如果你想要 docker-compose
  • @Eksapsy - 体面的安全问题 - 每个用户都应该适应他们的风险承受能力。 Docker 和 GitHub 在 5 年内取得了相当大的进步,并提供了几种安全的替代方案,但我们对这个问题的了解不够多,无法提出建议 - 只是为了开始。
  • 这个问题通常很烦人。对于所有人来说似乎没有一个好的通用解决方案,这令人沮丧。 Docker 绝对应该在这个问题上再进一步,并为我们提供一个好的解决方案。无论如何,在尝试提供解决方案方面做得很好,它可能对我们中的一些人有用。我个人觉得它的风险和安全性对我来说太危险了,尤其是现在我们大多数人都在使用的 docker-compose。
【解决方案4】:

在最新版本的 golang (v1.11) 中,现在有modules

引用来源:

模块是相关 Go 包的集合,它们作为一个单元一起进行版本控制。大多数情况下,单个版本控制存储库与单个模块完全对应。

使用最新版本的 golang 将允许您拥有位于私有存储库中的依赖项。本质上,通过运行$ go mod vendor 命令将为所有外部依赖项在本地创建一个vendor 目录。现在确保您的 docker 镜像具有 Golang v1.11,您将使用以下内容更新您的 Dockerfile:

WORKDIR /<your repostiory>

COPY . ./

【讨论】: