Pipeline As Code With Jenkins2.0

Jenkins2.0 Pipeline 导入

Pipeline as Code 是 Jenkins 2.0 版本的精华所在，是帮助 Jenkins 实现从 CI 到 CD 华丽转身的关键工具。

所谓 Pipeline，简单来说，就是一套运行于 Jenkins 上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程

Pipeline 的实现方式是一套 Groovy DSL(类似 Gradle)，我也正在学习和实践，任何发布流程都可以表述为一段 Groovy 脚本，并且 Jenkins 支持从代码库直接读取脚本，从而实现了 Pipeline as Code 的理念。

为什么要使用 Jenkins2.0 Pipeline

这里主要结合我自己对传统 Jenkins Job 使用的一些痛点来说：

传统的 Jenkins Job 难以灵活高效地并行（ Job 间、节点间、任务间、甚至任务内四个维度的并行）
传统的 Jenkins Job 日益失控的趋势让我们措手不及，Job 太多，CI 脚本太离散，维护成本实在太高了，而且很危险，一单 Jenkins Server 挂了，一切都 Game Over 了
新拉分支的分支代码 CI 部署太麻烦了
传统的 Jenkins Job 显示真的是不太直观啊

我想这些理由应该足以让我们把目光转向 Jenkins2.0 的 Pipeline ！

Pipeline 的功能和优点：

持久性：在 jenkins 的 master 按计划和非计划的重启后，pipeline 的 job 仍然能够工作，不受影响。其实理解起来也很简单，jenkins 的 master 和 agent 通过 ssh 连接，如果你知道 nohup 或 disown 的话，就可以理解为啥 master 的重启不会影响 agent 上的 job 继续运行。
可暂停性：pipeline 基于 groovy 可以实现 job 的暂停和等待用户的输入或批准然后继续执行。 3. 更灵活的并行执行，更强的依赖控制，通过 groovy 脚本可以实现 step，stage 间的并行执行，和更复杂的相互依赖关系。
可扩展性：通过 groovy 的编程更容易的扩展插件。
设计 Pipeline = 设计代码，很优雅
As Code：集中管理 CI 脚本、用代码库来管理脚本、从代码库直接读取脚本，从而可以将项目 CI 迅速拉起来！

Pipeline 原理与流程

Pipeline 为用户设计了三个最最基本的概念：

Stage：一个 Pipeline 可以划分为若干个 Stage，每个 Stage 代表一组操作。注意，Stage 是一个逻辑分组的概念，可以跨多个 Node。
Node：一个 Node 就是一个 Jenkins 节点，或者是 Master，或者是 Agent，是执行 Step 的具体运行期环境。
Step：Step 是最基本的操作单元，小到创建一个目录，大到构建一个 Docker 镜像，由各类 Jenkins Plugin 提供。

一个典型的 Stage View 如下图所示：

从图中可以十分方便地看到哪些 Stage 通过，哪些 Stage 失败，以及构建的时间。

Jenkins2.0 的 Pipeline 搭建使用的是 Groovy 脚本，通过 Groovy 脚本实现工作流管理的步骤如下：

去 Jenkins 主界面建立 Pipeline 任务

实际上更常用的是 MultiBranch Pipeline，上面的图中截图没有包含，但与普通 Pipeline 基本类似。

使用 Groovy 脚本自定义工作流

上图的实例脚本如下：

node { 
    stage('Checkout Code') { // for display purposes 
        // Get some code from a GitHub repository 
        git 'https://github.com/jglick/simple-maven-project-with-tests.git' 
    }
 
    stage('Build') { 
        // Run the maven build 
        if (isUnix()) { 
            sh "'${MAVEN_HOME}/bin/mvn' -Dmaven.test.failure.ignore clean package" 
        } else { 
            bat(/"${MAVEN_HOME}\bin\mvn" -Dmaven.test.failure.ignore clean package/) 
        } 
    } 
 
    stage('Unit test') { 
        junit '**/target/surefire-reports/TEST-UT.xml' 
        archive 'target/*.jar' 
    } 
}

开始执行 Pipeline

构建过程的 stage View 如下：

很明显可以看出，这里显示的和 Groovy 脚本中格式化的代码是一致的，会实时显示各个工作流的执行进度和结果，直观易懂。鼠标移上去，能看到日志信息的缩略图，单击可以调到对应 stage 的 console 中。

总而言之，一切都是那么地优雅！

Jenkins2.0 Pipeline 关键 DSL 语法及示例

在这里总结一下 Pipeline 中的关键 DSL 语法，利用 Groovy 对其进行组合可以完成任何一项复杂的 CI/CD 流程，熟悉它们大有裨益。

archiveArtifacts

归档文件，举例：

archiveArtifacts 'target/*.jar'

bat

执行 windows 平台下的批处理文件，如

bat "call example.bat"

build

触发构建一个 jenkins job，如

build 'TEST_JOB'

checkout

从 SCM 系统中 checkout repo，如：

checkout([$class: 'SubversionSCM', additionalCredentials: [], excludedCommitMessages: '', excludedRegions: '', excludedRevprop: '', excludedUsers: '', filterChangelog: false, ignoreDirPropChanges: false, includedRegions: '', locations: [[credentialsId: '30e6c1e5-1035-4bdd-8a44-05ba8f885158', depthOption: 'infinity', ignoreExternalsOption: true, local: '.', remote: 'svn://xxxxxx']], workspaceUpdater: [$class: 'UpdateUpdater']])

deleteDir()

从 workspace 中删除当前目录

dir

切换目录，如

dir('/home/jenkins') { // 切换到 /home/jenkins 目录中做一些事情
    // some block
}

echo

打印信息，如 echo 'hello world'

emailtext

利用 Jenkins 发送邮件，内容、主题全都可以自定义，如

emailext body: 'Subject_test', subject: 'Subject_test', to: 'hansonwang99@163.com.cn'
// 邮件的正文 body，主题 subject，收件人 to 等可以进行自定义

error

抛出一个错误信号，可以自行在代码里抛出，如 error 'read_error'

fileExists

检查工作空间某个路径里是否存在某个 file，举例：

fileExists '/home/test.txt'  // 检查是否存在 test.txt

input

等待外界用户的交互输入，举例：

input message: '', parameters: [string(defaultValue: '默认值', description: '版本号', name: 'version')] // 在某一步骤，等待用户输入 version 参数才能往下执行

isUnix

用于判断当前任务是否运行于 Unix-like 节点上，举例：

def flag = isUnix()
if( flag == false ) { // 可以据此进行判断
	echo "not run on a unix node !"
}

load

调用一个外部 groovy 脚本，举例：

load 'D:\\jenkins\\workspace\\test.groovy'

node

分配节点给某个任务运行，举例：

node('节点标签') { // 在对应标签的节点上运行某项任务
	Task()
}

parallel

并行地执行任务，可以说是最实用高效的工具了，举例：

parallel(   //并行地执行 android unit tests 和 android e2e tests 两个任务
	'android unit tests': {
		runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-android-docker-unit-tests.sh', '--privileged --rm')
	},
	'android e2e tests': {
	runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-ci-e2e-tests.sh --android --js', '--rm')
	}
)

properties：

设置 Job 的属性，举例：

properties([parameters([string(defaultValue: '1.0.0', description: '版本号', name: 'VERSION')]), pipelineTriggers([])]) // 为 job 设置了一个 VERSION 参数

pwd 显示当前目录
readFile

从工作空间中读取文件，举例：

def editionName = readFile '/home/Test/exam.txt'

retry

重复 body 内代码 N 次，举例：

retry(10) {
    // some block
}

执行 shell 脚本，如：sh "sh test.sh"

sleep

延时，如延时 2 小时：sleep time: 2, unit: 'HOURS'

stage

创建任务的 stage，举例：

stage('stage name') {
    // some block
}

stash

存放文件为后续构建使用，举例：

dir('target') {
	stash name: 'war', includes: 'x.war'
}

unstash

将 stash 步骤中存放的文件在当前工作空间中重建，举例：

def deploy(id) {
    unstash 'war'
    sh "cp x.war /tmp/${id}.war"
}

timeout

时间限制，举例

timeout(time: 4, unit: 'SECONDS') {
    // some block
}

timestamps

用于在控制台加时间戳，举例：

timestamps {
    // some block
}

touch

创建文件，举例：

touch file: 'TEST.txt', timestamp: 0

unzip

解压文件，举例：

unzip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'

validateDeclarativePipeline

检查给定的文件是否包含一个有效的 Declarative Pipeline，返回 T 或者 F

validateDeclarativePipeline '/home/wospace'

waitUntil

等待，直到条件满足

waitUntil {
    // some block
}

withCredentials

使用凭据

withCredentials([usernameColonPassword(credentialsId: 'mylogin', variable: 'USERPASS')]) {
    sh '''
      set +x
      curl -u $USERPASS https://private.server/ > output
    '''
}

withEnv

设置环境变量，注意近本次运行有效!

withEnv(['MYTOOL_HOME=/usr/local/mytool']) {
    sh '$MYTOOL_HOME/bin/start'
}

writeFile

写文件到某个路径

writeFile file: '/home/workspace', text: 'hello world'

writeJSON

写 JSON 文件，用法基本同上

zip

创建 zip 文件

zip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'

自定义工作空间，在其中做一些工作，效果类似于 Dir 命令，举例：

ws('/home/jenkins_workspace') {
    // some block
}

后记

作者更多的原创文章在此