Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（二）
一、说明
1.1 说明
前面介绍采用 Jenkinsfile + KubernetesPod.yaml 方式进行部署项目（Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（一）），maven、kubectl 等容器工具需要在 KubernetesPod.yaml 中定义，一同存放在代码仓库中托管，比较繁琐。
这里采用 Jenkinsfile + docker in docker 方式进行部署，把 maven 等工具都运行在 docker 容器中，这样减少了 yaml 文件，相对更加简洁方便。
1.2 环境
Rancher 2.2.7 （部署Rancher参考之前文章：离线安装 Rancher2.2.4 HA 集群）
Jenkins 2.176.2
二、部署 jenkins
在 rancher 中部署 jenkins 服务
2.1 创建 PVC
工作负载 -> PVC
jenkins程序家目录PVC：pvc-jenkins-home
maven缓存PVC：pvc-jenkins-maven
2.2 配置映射
资源 -> 配置映射
名称：jenkins-master 键：JAVA_OPTS 值：
-Dhudson.slaves.NodeProvisioner.initialDelay=
-Dhudson.slaves.NodeProvisioner.MARGIN=
-Dhudson.slaves.NodeProvisioner.MARGIN0=0.85
-Duser.timezone=Asia/Shanghai
作为环境变量传进jenkins，前三个值定义的是slaves生成等待时间（https://github.com/jenkinsci/kubernetes-plugin/blob/master/README_zh.md），最后一个值是jenkins的时区。
2.3 工作负载
工作负载 -> 部署服务
名称：jenkins-master
Docker镜像：jenkinsci/blueocean:latest
命名空间：jenkinsci
环境变量：类型：Config Map，源：jenkins-master，值：All
数据卷挂载：pvc(pvc-jenkins-home) -> 容器路径 /var/jenkins_home -> 子路径 aliyun-jenkins（pvc中的目录）
说明：因为我是把原来 jenkins 迁移到了pvc中，所以有子路径，新部署的话不用子路径。
2.4 负载均衡
名称：jenkins-master
主机名：jenkins.wmq.com
服务：jenkins-master
容器端口：
2.5 域名解析
jenkins.wmq.com 解析到 ingress lb 的 ip 地址
三、配置jenkins
3.1 安装插件
系统管理 -> 插件管理
Kubernetes
Kubernetes Cli
3.2 系统设置
3.2.1 系统设置
执行者数量：
新增一个云：Kubernetes
3.2.2 配置kubernetes云
名称：kubernetes
Kubernetes 地址：https://kubernetes.default
Kubernetes 命名空间：jenkinsci
凭据：cicd集群账号
Jenkins 地址：http://jenkins-master:8080
Pod Labels：键：jenkins，值：slave
Pod Retention：Never
Seconds to wait for pod to be running:
默认提供的模板名称：jenkins-slave
凭据说明：类型：Secret text，Secret：rancher的cicd集群中的配置文件中的token，ID：cicd，描述：cicd集群账号
3.2.3 配置Kubernetes Pod Template
名称：jenkins-slave
标签列表：jenkins-slave
用法：尽可能的使用这个节点
3.2.4 配置Container Template
1）jnlp
名称：jnlp //不能改名
Docker 镜像：reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
工作目录：/home/jenkins/agent
运行的命令：空
命令参数：${computer.jnlpmac} ${computer.name}
EnvVars：Environment Variable （键：JENKINS_URL，值：http://jenkins-master.jenkinsci.svc.cluster.local:8080）
2）docker
名称：docker
Docker 镜像：reg.nexus.wmq.com/tools/docker-dind-daemon
工作目录：/home/jenkins/agent
运行的命令：空
命令参数：空
高级选项：勾选以最高权限运行 //docker in docker 一定要最高权限
3.2.5 配置挂载卷
1）挂载空目录，让jnlp和docker两个容器共享/var/run目录，这样jnlp容器可以使用docker.sock文件操作docker容器
类型：Empty Dir Volume
挂载路径：/var/run
2）挂载pvc，提供maven容器的缓存（maven容器在Jenkinsfile中指定）
类型：Persistent Volume Claim
申明值：pvc-jenkins-maven
挂载路径：/opt/data/aliyun-jenkins-maven
3.2.6 其他配置
Pod Retention：Never
代理的空闲存活时间（分）： //一周
连接 Jenkins 的超时时间（秒）：
Show raw yaml in console：不勾选
说明：代理存活时间为一周，因为每次agent启动需要花费一定时间等待，为了减少等待时间，增加agent存活时间，不会立马自动销毁。
四、docker镜像制作
上面配置Container Template用到了jnlp、docker镜像都是含有定制的工具。
4.1 jnlp镜像
给jnlp镜像添加docker、kubectl两个命令，Dockerfile内容如下：
FROM jenkins/jnlp-slave
ENV KUBECTL_VERSION=v1.14.5
USER root
RUN echo "deb http://mirrors.163.com/debian/ stretch main" > /etc/apt/sources.list && \
echo "deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib" >> /etc/apt/sources.list && \
echo "deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib" >> /etc/apt/sources.list
RUN apt-get update && \
apt-get -y install apt-transport-https ca-certificates curl software-properties-common && \
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/debian/gpg | apt-key add - && \
add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/debian $(lsb_release -cs) stable" && \
apt-get -y update && \
apt-get -y install docker-ce
RUN curl -L https://www.cnrancher.com/download/kubernetes/linux-amd64-${KUBECTL_VERSION}-kubectl -o /usr/local/bin/kubectl \
&& chmod +x /usr/local/bin/kubectl
说明：jnlp-slave 是基于 debian 系统，先更换安装源，然后安装 docker。kubectl 是用 rancher 提供的下载链接。
上传镜像到私有仓库：
docker build -t jnlp-:v1.14.5 .
docker tag jnlp-:v1.14.5 reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
docker push reg.nexus.wmq.com/rancher/jenkins-jnlp-slave-docker-kubectl:v1.14.5
4.2 docker镜像
因采用 docker in docker 镜像，后续 jenkinsfile 中定义的容器都运行该 docker 中。
1）需要更换默认的镜像仓库，换成私有仓库，构建会把镜像缓存到私有仓库，要不然每次构建都从新下载镜像会很慢；
2）添加 crond 命令到启动项，并每天定时任务清理镜像垃圾。
Dockerfile 内容如下：
FROM docker:dind
USER root
RUN mkdir /etc/docker
ADD daemon.json /etc/docker/daemon.json
RUN sed -i "2a crond" /usr/local/bin/dockerd-entrypoint.sh
RUN crontab -l > crontab_list
RUN echo '0 3 * * * docker image prune -a -f --filter "until=24h" > /var/log/crontab.log 2>&1' >> crontab_list
RUN crontab crontab_list
挂载的daemon.json内容如下：
{
"registry-mirrors": ["https://mirror.nexus.wmq.com"],
"max-concurrent-downloads": ,
"max-concurrent-uploads": ,
"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": ""
}
}
上传镜像到仓库：
docker build -t docker:v1 .
docker tag docker:v1 reg.nexus.wmq.com/tools/docker-dind-daemon
docker push reg.nexus.wmq.com/tools/docker-dind-daemon
五、Jenkinsfile 文件
Jenkinsfile模板如下：
pipeline {
agent none
stages {
stage('setting env') {
agent any
options {
skipDefaultCheckout(true)
}
steps {
script {
env.NAMESPACE = "jenkins-test"
env.PROJECT_NAME = "jenkins-test"
env.IMAGE_NAME = "reg.nexus.wmqhealth.com/$NAMESPACE/$PROJECT_NAME/$BRANCH_NAME:build-$BUILD_NUMBER"
}
}
}
stage('package') {
agent {
docker {
alwaysPull false
image 'maven:3.6-alpine'
args '-v /opt/data/aliyun-jenkins-maven:/root/.m2'
}
}
steps {
sh 'mvn package'
stash(name: 'copy jar', includes: 'target/*.jar')
}
}
stage('docker build') {
agent any
steps {
unstash 'copy jar'
script {
def image = docker.build("$IMAGE_NAME", ".")
withDockerRegistry([credentialsId:'docker-registry', url:"https://reg.wmq.com"]){
image.push()
}
}
}
}
stage('deploy') {
parallel {
stage('prod') {
agent any
options {
skipDefaultCheckout(true)
}
when {
branch 'master'
}
steps {
withKubeConfig(clusterName: 'production', contextName: 'production', credentialsId: 'kube-prod', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-x497w') {
sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
}
}
}
stage('dev') {
agent any
options {
skipDefaultCheckout(true)
}
when {
not {
branch 'master'
}
}
steps {
withKubeConfig(clusterName: 'develop', contextName: 'develop', credentialsId: 'kube-dev', namespace: '$NAMESPACE', serverUrl: 'https://rancher.wmq.com/k8s/clusters/c-xg99q') {
sh 'kubectl set image deployment/$PROJECT_NAME $PROJECT_NAME=$IMAGE_NAME --namespace $NAMESPACE'
}
}
}
}
}
}
options {
buildDiscarder(logRotator(numToKeepStr: '', artifactNumToKeepStr: ''))
}
}
说明：
env.IMAGE_TAG：定义的是环境变量，全局可调用，需放置在前面
withKubeConfig：需要安装 Kubernetes Cil 插件，可以操作kubernetes
buildDiscarder：构建历史保留次数
Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（二）的更多相关文章
- Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（一）
一.说明 1)需求: Rancher 上部署 Jenkins-master,服务采用 Jenkins-slave 发布,发布完成后 Jenkins-slave 自动销毁. 2)环境: Rancher ...
- 一种使用gitlab的CI/CD功能实现Nginx配置更新的方法
至于nginx的docker制作,前面已介绍过. 现在使用gitlab在线编辑的方式,可实现Nginx的自定义配置并更新. .gitlab-ci.yml内容如下: variables: project ...
- 【Devops】【docker】【CI/CD】2.docker启动jenkins环境+安装必要的插件
[注意:]jenkins的docker镜像,需要从官网进入直接获取,其他地方获取到的docker镜像,可能因为Jenkins版本过低,导致后续插件安装失败等问题!!! ================ ...
- 基于Django+celery二次开发动态配置定时任务 （ 二）
一.需求 结合上一篇,使用djcelery模块开发定时任务时,定时任务的参数都保存在djcelery_periodictask表的args.kwargs字段里,并且是json格式.那么,当定时任务多了 ...
- 【Devops】【docker】【CI/CD】docker启动的Jenkins容器 - 系统管理 - 全局工具配置 - 自动安装JDK、Maven、Git、Docker
本篇适用于jenkins是启动的docker容器,自动安装JDK Maven Git Docker等全局工具 ========================================= ...
- Gitlab Runner实现CI/CD自动化部署asp.net core应用
环境说明 一台git服务器(192.168.169.7),安装gitlab,docker. 一台web服务器(192.168.169.6),安装git,gitlab runner,docker,dot ...
- 配置jenkins slave 问题，ERROR: Couldn't find any revision to build. Verify the repository and branch configuration for this job.
因为需要需要搭建一套自动化环境的windows电脑作为slave,简单的把原来用来mac上的job配置一模一样的配置了下,运行时遇到如上问题,google半天百思不得其解, 后来尝试把SCM里面的br ...
- 从零开始配置Jenkins（二）——常见问题及排错思路
[前言] 一年多以前就听说Jenkins了,那时知道是它可以完成自动构建,感觉蛮强大的.后来,很多人都说它很恶心.最近,公司需要搭建新的服务器,小编就负责从头开始配置并且发布部署成功每一条线每一个项目 ...
- Kubernetes+Jenkins+Nexus+Gitlab进行CI/CD集成
前面已经完成了 二进制部署Kubernetes集群,下面进行CI/CD集成. 一.流程说明 应用构建和发布流程说明: 1.用户向Gitlab提交代码,代码中必须包含Dockerfile: 2.将代码提 ...
随机推荐
- AngularJS 脏检查深入分析
写在开头 关于Angular脏检查,之前没有仔细学习,只是旁听道说,Angular 会定时的进行周期性数据检查,将前台和后台数据进行比较,所以非常损耗性能. 这是大错而特错的.我甚至在新浪前端面试的时 ...
- RF执行顺序
case: 按照定义的上下位置顺序执行,通过Ctrl+上下方向键,来改变执行次序. 包含suite的目录:按字母顺序. suite: 按字母顺序执行.可以加01__xxx.txt这样的前缀来控制顺序.
- 设置root用户不保存终端历史记录到.bash_history
在.bashrc的最后行追加 unset HISTFILE cat .bash_history 还能看到 unset HISTFILE 之前保留的命令unset HISTFILE 之后的命令不会保留, ...
- Android -- android.os.Parcelable[] cannot be cast to ...
我本想直接把Bunde.getParcelableArray(...)得到的Parcelable[]强制转换为自定义类数组,但是失败了,网上找了两种解决办法: Parcelable[] data =b ...
- delphi override、overload、reintroduce的区别-0613.txt
http://blog.csdn.net/honglixx/article/details/3624934 1.override overload reintroduce的中文叫法是什么? overr ...
- crossplatform---Nodejs in Visual Studio Code 06.新建Module
1.开始 Node.js:https://nodejs.org 2.Moudle js编程中,由于大家可以直接在全局作用域中编写代码,使开发人员可以很容易的新建一个全局变量或这全局模块,这些全局变量或 ...
- svn 检出 Check out 请求的名称有效,但是找不到请求的类型的数据。
根据问题不同有不同的解决方案,可按照以下方法进行解决1.取消TortoiseSVN-网络-代理2.确认SVN目录地址是否正确,可在浏览器中直接打开测试.如地址是由计算机名组成请改成Ip地址进行测试
- Objective-C 调用C++,C
1. 建立一个C++类 2. 写一个Adaptor的Objective-C类 3. 在其他Objective-C的逻辑中调用Adaptor类. 1.C++类 // // CPlusPlusClass. ...
- C#绘制圆形时钟
本文由作者参考部分案例后加以修改完成: 参考链接如下: http://blog.csdn.net/xuemoyao/article/details/8001113 http://wenku.baidu ...
- C# 标签(条码)
C# 标签(条码) 上一篇说到条码的打印,主要是通过读取模板定义文件(XML文件),然后结合从数据库中读取的动态数据结合而产生条码.下面主要说一下如何设计这个条码模板.设计过程也很简单,只需要简单的拖 ...