在所有节点上同时运行 Jenkins 作业

Question

TLDR：我希望能够在 Jenkins 管道中的多个节点上同时运行作业。 [例如 - 基于 aws 在节点 dev、test 和 staging 节点上构建应用程序 x]

我有一大组具有相同标签的节点。我希望能够在 Jenkins 中运行一个作业，该作业在 所有 具有相同标签的节点上执行并且同时执行。

看到有人建议在 Jenkins 中使用矩阵配置选项，但我只能想到一个轴（标签组）。当我尝试运行该作业时，它似乎只执行一次而不是 300 次（该标签组中的每个节点执行 1 次）。

我的另一个轴应该是什么？或者...有一些插件可以做到这一点吗？我试过 NodeLabel 参数插件，并选择“在所有可用的在线节点上运行”，但它似乎并没有同时运行这些作业。

Answer 1

我正在寻找一种在所有节点上运行docker system prune 的方法（带有标签docker）。我以一个非常简单的脚本管道结束，AFAIK 只需要管道插件即可工作：

#!/usr/bin/env groovy

def nodes = [:]

nodesByLabel('docker').each {
  nodes[it] = { ->
    node(it) {
      stage("docker-prune@${it}") {
        sh('docker system prune -af --filter "until=1440h"')
      }
    }
  }
}

parallel nodes

这是做什么的，它正在寻找标签为docker的所有节点，然后对其进行迭代并创建一个关联数组nodes，每个找到的节点都有一个步骤（准确地说，它正在做的是清理所有旧的码头工人的东西超过 60 天）。 parallel nodes 开始并行执行（同时在所有找到的节点上）。

希望这会对某人有所帮助。

Answer 2

取上面的几个答案，针对 2.0 系列进行调整。

您现在可以在所有节点上启动所有作业。

// The script triggers PayloadJob on every node.
// It uses Node and Label Parameter plugin to pass the job name to the payload job.
// The code will require approval of several Jenkins classes in the Script Security mode
def branches = [:]
def names = nodeNames()
for (int i=0; i<names.size(); ++i) {
  def nodeName = names[i];
  // Into each branch we put the pipeline code we want to execute
  branches["node_" + nodeName] = {
    node(nodeName) {
      echo "Triggering on " + nodeName
      build job: 'PayloadJob', parameters: [
              new org.jvnet.jenkins.plugins.nodelabelparameter.NodeParameterValue
                  ("TARGET_NODE", "description", nodeName)
          ]
    }
  }
}

// Now we trigger all branches
parallel branches

// This method collects a list of Node names from the current Jenkins instance
@NonCPS
def nodeNames() {
  return jenkins.model.Jenkins.instance.nodes.collect { node -> node.name }
}

取自代码 https://jenkins.io/doc/pipeline/examples/#trigger-job-on-all-nodes

Answer 3

• Rundeck 可能是更适合您需求的工具。可以设置为并行运行多个作业，并有一个 Jenkins 插件：http://rundeck.org/
• Rundeck 旨在与更大的系统集成。我们从配置管理数据库生成资源文件。很容易看到文档：http://rundeck.org/docs/administration/node-resource-sources.html。
• 其他插件可用于亚马逊和/或 puppet 和 chef 等系统：http://rundeck.org/plugins

Answer 4

1. 安装
   • Parameterized Trigger Plugin
   • NodeLabel Parameter Plugin
2. 对于您要运行的作业，启用必要时执行并发构建
3. 除了要在所有从站上运行的作业之外创建另一个作业并对其进行配置
   • 构建 > 添加构建步骤 > 在其他项目上触发/调用构建
     • 添加参数工厂>标签工厂的所有节点>标签：节点的标签

Answer 5

您需要两个插件：Paramitrized Trigger Plugin 能够触发其他作业作为主要作业的构建步骤，NodeLabel Plugin（阅读 BuildParameterFactory 部分了解您需要的内容）指定标签。

Answer 6

最好和最简单的方法是使用Elastic Axis 插件。
1。安装插件。
2。创建多配置作业。（如果不存在则安装）
3。在作业配置中，您可以找到添加为弹性轴的新轴。添加如下所示的标签以使作业在多个从站上运行。

Answer 7

矩阵构建将起作用；使用“Slaves”作为轴并展开“Individual nodes”列表以选择所有节点。

请注意，每次添加或删除从属设备时都需要更新选择。

要获得更易于维护的解决方案，您可以使用Job DSL plugin 设置具有构建模板的种子作业，然后遍历每个从属并创建一个新作业，并将构建标签设置为奴隶。

Answer 8

知道了 - 不需要任何特殊插件！

我创建了一个触发/调用另一个构建的父作业， 当我打电话给他时，我会传递给他一个我不想继续从事儿童工作的标签。

所以基本上父作业只会触发我需要的作业， 并且子作业将运行与该标签中的奴隶数量一样多的次数 （在我的情况下是 4 次）。

Answer 9

启用This project is parameterized，添加Label 类型的参数，为标签输入任意名称并选择默认值，例如覆盖多个节点的标签或此类标签的结合（&&）。启用Run on all nodes matching the label，保持Run regardless of result，保持Node eligibilityAll nodes。

Answer 10

解决方案：您可以简洁地在多个 Jenkins 节点上并行构建相同的构建

这对于在不同环境中构建相同的项目很有用（例如：在测试、开发和暂存环境中构建节点应用程序）

示例：

pipeline {
agent { docker {  image 'node:14-alpine' } }
stages {
    stage('build') {
        steps {
            parallelTasks
        }
      }
   }
}


def parallelTasks() {
  def labels = ['test', 'dev', 'staging'] // labels for Jenkins node types we will build on
  def builders = [:]
  for (x in labels) {
      def label = x
      
      builders[label] = {
          node(label) {
              sh """#!/bin/bash -le
                    echo "build app on ${label} node"
                    cd /home/app
                    npm run build
              """
          }
      }
  }
  parallel builders


}