【问题标题】:Build docker images in parallel using docker Go client使用 docker Go 客户端并行构建 docker 镜像
【发布时间】:2019-06-14 22:08:15
【问题描述】:

我正在使用 Docker 的 Go 客户端来构建我的项目。这个post 重点介绍了如何使用 Go 客户端执行此操作。我在我的三个 Dockerfile(1.Dockerfile2.Dockerfile3.Dockerfile)上调用 ImageBuild 作为测试。这是我的代码:

func GetContext(filePath string) io.Reader {
    // Use homedir.Expand to resolve paths like '~/repos/myrepo'
    filePath, _ = homedir.Expand(filePath)
    ctx, err := archive.TarWithOptions(filePath, &archive.TarOptions{})
    if err != nil {
        panic(err)
    }

    return ctx
}

func testImageBuild() {
    ctx := context.Background()
    cli, err := client.NewEnvClient()
    if err != nil {
        log.Fatal(err, " :unable to init client")
    }

    var wg sync.WaitGroup
    for i := 0; i < 3; i++ {
        wg.Add(1)
        go func(i int) {
            defer wg.Done()
            dockerFile := fmt.Sprintf("%d.Dockerfile", i)
            imageBuildResponse, err := cli.ImageBuild(
                ctx,
                GetContext("."),
                types.ImageBuildOptions{
                    Dockerfile: dockerFile,
                    Tags:       []string{fmt.Sprintf("devbuild_%d", i)},
                })
            if err != nil {
                log.Fatal(err, " :unable to build docker image"+string(1))
            }
            defer imageBuildResponse.Body.Close()
            _, err = io.Copy(os.Stdout, imageBuildResponse.Body)
            if err != nil {
                log.Fatal(err, " :unable to read image build response "+string(1))
            }
        }(i)
    }
    wg.Wait()
}

func main() {
    testImageBuild()
}

GetContext 用于将目录路径压缩为 Docker 的上下文。 testImageBuild 衍生出三个不同的 goroutine 来构建三个不同的图像。

我的问题是:当我运行它时,到 stdout 的输出总是相同的并且看起来是确定性的,这让我认为图像实际上并不是并行构建的。我不熟悉 docker 如何构建其映像,而且这种方法似乎完全有可能只是将请求并行发送到 docker 服务器,而不是实际并行构建。这是真的?如果是这样,我如何才能并行构建我的项目?

【问题讨论】:

    标签: docker go dockerfile


    【解决方案1】:

    如果我正确理解您的问题,您有一台 docker-machine,您希望在其上使用您的 GO 程序同时构建图像。

    我尝试对正在构建相同映像的 Dockerfile 做同样的事情,据我了解,它们都是同时构建的。

    这是我用来复制场景的 go 包 - https://github.com/nihanthd/stackoverflow/tree/master/docker

    现在,如果您使用 3 个不同的 docker 文件,那么它们肯定会有不同的构建时间,这意味着输出似乎是确定性的

    【讨论】:

    • 您是如何验证它们同时构建的?
    • 通过检查在 docker-machine 中创建图像的时间戳。您可以通过 ssh 进入 docker 机器,然后执行 docker image ls -a | grep dev,以及我分享的代码中的 log line 应该打印出创建容器的时间戳。
    猜你喜欢
    • 2016-12-12
    • 1970-01-01
    • 2020-10-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-09-16
    • 2019-05-08
    • 1970-01-01
    相关资源
    最近更新 更多