使用环境变量加载文件 Jenkins Pipeline

Question

我正在做一个简单的管道：

构建 -> 暂存 -> 生产

我需要不同的环境变量用于暂存和生产，所以我正在尝试获取变量。

sh 'source $JENKINS_HOME/.envvars/stacktest-staging.sh' 

但它返回未找到

[Stack Test] Running shell script
+ source /var/jenkins_home/.envvars/stacktest-staging.sh
/var/jenkins_home/workspace/Stack Test@tmp/durable-bcbe1515/script.sh: 2: /var/jenkins_home/workspace/Stack Test@tmp/durable-bcbe1515/script.sh: source: not found

路径是正确的，因为我通过 ssh 登录时运行相同的命令，并且运行良好。

这是管道的想法：

node {
    stage name: 'Build'
    // git and gradle build OK
    echo 'My build stage'

    stage name: 'Staging'
    sh 'source $JENKINS_HOME/.envvars/stacktest-staging.sh' // PROBLEM HERE
    echo '$DB_URL' // Expects http://production_url/my_db
    sh 'gradle flywayMigrate' // To staging
    input message: "Does Staging server look good?"    

    stage name: 'Production'
    sh 'source $JENKINS_HOME/.envvars/stacktest-production.sh'
    echo '$DB_URL' // Expects http://production_url/my_db
    sh 'gradle flywayMigrate' // To production
    sh './deploy.sh'
}

我该怎么办？

• 我在考虑不使用管道（但我将无法使用我的 Jenkinsfile）。
• 或者使用 EnvInject 插件为登台和生产制作不同的工作（但我失去了我的舞台视图）
• 或者 make withEnv（但是代码变大了，因为今天我使用了 12 个环境变量）

Answer 1

另一种解决方案是使用自定义方法而不允许额外的权限，例如new Properties()，这会在允许之前导致此错误：

org.jenkinsci.plugins.scriptsecurity.sandbox.RejectedAccessException: Scripts not permitted to use new java.util.Properties

或添加额外的插件方法，例如readProperties。

这是一个读取名为env_vars的简单文件的方法：

FOO=bar
FOO2=bar

pipeline {
<... skipped lines ...>
    script {
        loadEnvironmentVariablesFromFile("env_vars")

        echo "show time! ${BAR} ${BAR2}"
    }
<... skipped lines ...>
}

private void loadEnvironmentVariablesFromFile(String path) {
    def file = readFile(path)
    file.split('\n').each { envLine ->
        def (key, value) = envLine.tokenize('=')
        env."${key}" = "${value}"
    }
}

Answer 2

这是一个外部化环境变量并在 Jenkins 管道执行中加载它们的完整示例。管道写在declarative style中。

stage('Reading environment variable defined in groovy file') {
            steps {
                script {
                    load "./pipeline/basics/extenvvariable/env.groovy"
                    echo "${env.env_var1}"
                    echo "${env.env_var2}"
                }
            }
        }

完整的代码示例： https://github.com/dhruv-bansal/jenkins-pipeline-exploration/blob/master/pipeline/basics/extenvvariable/Jenkinsfile

其中变量是从仅与管道代码一起放置的 groovy 文件中加载的。 https://github.com/dhruv-bansal/jenkins-pipeline-exploration/blob/master/pipeline/basics/extenvvariable/env.groovy

当您创建可跨团队使用的通用管道时，此模式非常方便。 您可以将此类 groovy 文件中的因变量外部化，每个团队都可以根据他们的生态系统定义他们的值。

Answer 3

使用 withEnv() 从由换行符分割的文件中传递环境变量并转换为列表：

writeFile file: 'version.txt', text: 'version=6.22.0'
withEnv(readFile('version.txt').split('\n') as List) {
    sh "echo ${version}"
}

Answer 4

使用 declarative 管道，您可以在一行中完成（将 path 更改为您的值）：

script {
  readProperties(file: path).each {key, value -> env[key] = value }
}

Answer 5

解决此安装“管道实用程序步骤”插件的另一种方法，它为我们提供了 readProperties 方法（参考请转到链接https://jenkins.io/doc/pipeline/steps/pipeline-utility-steps/#pipeline-utility-steps） 在示例中，我们可以看到它们将键存储到数组中并使用键来检索值。 但是在那种情况下，如果我们稍后将任何变量添加到属性文件中，那么在生产中问题将类似于该变量也需要添加到 Jenkins 文件的数组中。 为了摆脱这种紧密耦合，我们可以这样编写代码，以便 Jenkins 构建环境可以自动获取有关当前出现在属性文件中的所有现有键的信息。这是一个参考的例子

def loadEnvironmentVariables(path){
    def props = readProperties  file: path
    keys= props.keySet()
    for(key in keys) {
        value = props["${key}"]
        env."${key}" = "${value}"
    }
} 

客户端代码看起来像

path = '\\ABS_Output\\EnvVars\\pic_env_vars.properties'
loadEnvironmentVariables(path)

Answer 6

如果您使用的是 Jenkins 2.0，您可以加载属性文件（其中包含所有必需的环境变量及其对应的值）并自动读取其中列出的所有环境变量并将其注入到 Jenkins 提供的 env 实体中。

这是执行上述操作的方法。

def loadProperties(path) {
    properties = new Properties()
    File propertiesFile = new File(path)
    properties.load(propertiesFile.newDataInputStream())
    Set<Object> keys = properties.keySet();
    for(Object k:keys){
    String key = (String)k;
    String value =(String) properties.getProperty(key)
    env."${key}" = "${value}"
    }
}

要调用此方法，我们需要将属性文件的路径作为字符串变量传递例如，在我们使用 groovy 脚本的 Jenkins 文件中，我们可以像这样调用

path = "${workspace}/pic_env_vars.properties"
loadProperties(path)

如有疑问请咨询我

Answer 7

从cmets到accepted answer

不要使用全局 'env' 而是使用 'withEnv' 构造，例如： 问题 #9：不要在 top 10 best practices jenkins pipeline plugin 中使用全局 env 设置 env vars

在下面的例子中：VAR1 是一个普通的 java 字符串（没有 groovy 变量扩展），VAR2 是一个 groovy 字符串（所以变量 'someGroovyVar' 被扩展了）。

传递的脚本是一个纯 java 字符串，因此 $VAR1 和 $VAR2 被逐字传递给 shell，并且 echo 正在访问环境变量 VAR1 和 VAR2。

stage('build') {
    def someGroovyVar = 'Hello world'
    withEnv(['VAR1=VALUE ONE',
             "VAR2=${someGroovyVar}"
            ]) {
        def result = sh(script: 'echo $VAR1; echo $VAR2', returnStdout: true)
        echo result
    }
}

对于秘密/密码，您可以使用credentials binding plugin

例子：

注意：CREDENTIALS_ID1 是 Jenkins 设置中注册的用户名/密码。

stage('Push') {
    withCredentials([usernamePassword(
                         credentialsId: 'CREDENTIALS_ID1',
                         passwordVariable: 'PASSWORD',
                         usernameVariable: 'USER')]) {
        echo "User name: $USER"
        echo "Password:  $PASSWORD"
    }
}

jenkisn 控制台日志输出隐藏了真实值：

[Pipeline] echo
User name: ****
[Pipeline] echo
Password:  ****

Jenkins 和凭据是个大问题，大概看：credentials plugin

为了完整性：大多数时候，我们需要环境变量中的秘密，因为我们在 shell 脚本中使用它们，所以我们将 withCredentials 和 withEnv 组合如下：

stage('Push') {
    withCredentials([usernamePassword(
                         credentialsId: 'CREDENTIALS_ID1',
                         passwordVariable: 'PASSWORD',
                         usernameVariable: 'USER')]) {
        withEnv(["ENV_USERNAME=${USER}",
                 "ENV_PASSWORD=${PASSWORD}"
            ]) {
                def result = sh(script: 'echo $ENV_USERNAME', returnStdout: true)
                echo result

        }
    }
}

Answer 8

从文件加载环境变量的一种方法是加载 Groovy 文件。

例如：

1. 假设您在“$JENKINS_HOME/.envvars”中有一个名为“stacktest-staging.groovy”的 groovy 文件。

2. 在这个文件中，你定义了 2 个你想加载的环境变量

   env.DB_URL="hello"
   env.DB_URL2="hello2"
   

3. 然后您可以使用以下方式加载它

   load "$JENKINS_HOME/.envvars/stacktest-staging.groovy"
   

4. 然后您可以在后续的 echo/shell 步骤中使用它们。

例如，这是一个简短的管道脚本：

node {
   load "$JENKINS_HOME/.envvars/stacktest-staging.groovy"
   echo "${env.DB_URL}"
   echo "${env.DB_URL2}"
}