【问题标题】：Bazel Monorepo - How Rebuild and Publish only Changed Docker Images?Bazel Monorepo - 如何仅重建和发布已更改的 Docker 映像？
【发布时间】：2020-06-02 09:38:50
【问题描述】：

目标

我有一个 monorepo 设置，其中包含越来越多的服务 services。当我部署应用程序时，我运行一个命令，每个服务都将被重建，最终的 Docker 镜像将被发布。但是随着服务数量的增加，重建所有服务所需的时间变得越来越长，尽管只对其中少数服务进行了更改。

为什么我的设置重建了所有的 Docker 镜像，尽管只有少数发生了变化？我的目标是仅重建和发布实际更改的图像。

详情

我正在使用 Bazel 构建我的 Docker 映像，因此在我的项目的根目录中有一个 BUILD 文件，其中包含我要部署时运行的目标。它只是k8s_objects 的集合，其中包含所有服务：

load("@io_bazel_rules_k8s//k8s:objects.bzl", "k8s_objects")
k8s_objects(
    name = "kubernetes_deployment",
    objects = [
        "//services/service1",
        "//services/service2",
        "//services/service3",
        "//services/service4",
        # ...
    ]
)

同样，每个服务都有一个 BUILD 文件，它首先从所有源文件创建一个 Typescript 库，然后创建 Node.Js 图像，最后将图像传递给 Kubernetes 对象：


load("@npm_bazel_typescript//:index.bzl", "ts_library")
ts_library(
    name = "lib",
    srcs = glob(
        include = ["**/*.ts"],
        exclude = ["**/*.spec.ts"]
    ),
    deps = [
      "//packages/package1",
      "//packages/package2",
      "//packages/package3",
    ],
)

load("@io_bazel_rules_docker//nodejs:image.bzl", "nodejs_image")
nodejs_image(
    name = "image",
    data = [":lib", "//:package.json"],
    entry_point = ":index.ts",
)

load("@k8s_deploy//:defaults.bzl", "k8s_deploy")
k8s_object(
  name = "service",
  template = ":service.yaml",
  kind = "deployment",
  cluster = "my-cluster"
  images = {
    "gcr.io/project/service:latest": ":image"
  },
)

注意，Typescript lib 还依赖于一些包，重新部署时也应该考虑到这些包！

要部署，我运行 bazel run :kubernetes_deployment.apply

最初我决定选择 Bazel 的一个原因是因为我认为它可以自己处理构建仅更改的服务。但显然情况并非如此，或者我的设置在某些方面有问题。

如果您需要更详细地了解该项目，可以在这里查看：https://github.com/flolude/cents-ideas

【问题讨论】：

感谢您说出您的目标，但我真的不明白您的问题或问题是什么。您能否澄清一下，以便我们无需深入研究项目即可提供帮助？
你是对的，我已经更新了问题
您是否为您的问题找到了解决方案或重大改进？
我不确定我当时做错了什么。但是 Bazel 通常会缓存图像，并且仅在依赖项发生更改时才重新构建。如果你需要帮助可以看看这个项目：github.com/drakery3d/fullbazel

标签： docker kubernetes google-kubernetes-engine bazel monorepo

【解决方案1】：

看起来 Bazel repo 本身做了类似的事情：

https://github.com/bazelbuild/bazel/blob/ef0f8e61b5d3a139016c53bf04361a8e9a09e9ab/scripts/ci/ci.sh

粗略的步骤是：

计算已更改的文件列表
使用文件列表并找到它们的依赖项（例如，bazel 查询kind(.*_binary, rdeps(//..., set(file1.txt file2.txt))) 将找到所有二进制目标，它们是 file1.txt 或 file2.txt 的依赖项）
构建/测试目标列表

您需要根据您的需要调整此脚本（例如，确保它找到 docker 图像目标）

要找出目标的种类，您可以使用bazel query //... --output label_kind

编辑：对于任何想要进入这个兔子洞的人（特别是如果你绝对不想错过 CI 中的测试）的一点警告：

你需要考虑：

已删除文件/BUILD 文件（谁依赖它们）
- 请注意，已移动文件 == 已删除 + 已添加
- 此外，您无法查询不再存在的文件/BUILD 的反向依赖！
修改了 BUILD 文件（为安全起见，请确保构建 BUILD 中所有目标的所有反向 dep）

我认为沿着这条路线走下去会有很多复杂性（如果可能的话）。依靠 Bazel 本身来找出发生了什么变化，使用远程缓存和--subcommands 来计算需要执行哪些副作用可能不太容易出错。

【讨论】：