百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

「自动化运维」从0到1 CICD自动化部署落地分享

off999 2025-01-29 17:27 25 浏览 0 评论

?


目录


一、CICD简介

二、CICD实践过程

三、含泪踩坑

四、历史文章指路



一、CICD简介


1、CICD定义

  • Continuous Integration (CI) 持续集成
  • Continuous Delivery (CD) 持续交付
  • Continuous Deployment (CD) 持续部署


2、DevOps定义

DevOps（Development和Operations的组合词）是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。


DevOps的基础核心是CICD。


CICD的基础核心是自动化。


二、CICD实践过程


1、起因

在我之前的团队，因为要切换全新业务线，需要为新业务搭建一套全新的环境，所有东西从0开始。


原先只是用于部署测试环境，后面决定一起部署生产环境，这个过程中我还造成了一个严重生产环境问题，好在当时的生产环境还未正式使用，未造成严重影响。


在当时挺害怕也挺有压力的，但是后面项目完整落地，平稳运行，我还是挺有成就感的，接下来我将整个项目过程完整的分享出来。


2、技术栈选型

首先进行技术栈选型，我们选择的是Jenkins，Jenkins当属业内持续集成老大哥，有着非常丰富的插件，也可以选择gitlab集成的CICD，因为我们还有其它的测试脚本需要集成，所以Jenkins对于我们来说是最优的选择；


Ansible是批量运维工具，通过编写yaml脚本，可以方便实现批量管理多台机器，并且Ansible是比较轻量级应用，很容易上手；


shell脚本可以用于执行一系列命令。


其它的就结合团队项目情况进行搭建。

  • Jenkins--持续集成
  • Ansible--下发文件
  • Shell--Linux脚本
  • Git--版本管理
  • GitLab--代码托管
  • Node.js--前端编译
  • Maven--后端编译
  • JDK--Java运行环境
  • Nginx--请求代理
  • Dubbo--RPC框架
  • Disconf--配置中心
  • Redis--缓存数据库（购买阿里云服务）
  • Zookeeper--中间件（购买阿里云服务）
  • RDS（MySQL）--数据库（购买阿里云服务）



3、Jenkins应用部署实现流程

首先来梳理下整个项目的实现流程，主要分为Jenkins主节点和应用服务器，是一对多的关系。


Jenkins主节点的主要负责项目部署前的工作，主要包含拉取代码，前端打包，后端打包，快照版检测，将压缩包和部署脚本发送到目标机器（即应用服务器），远程调用目标机器上的部署脚本进行代码替换。


应用服务器部署脚本执行过程有：解压压缩包，停止服务，覆盖代码，拉取disconf，应用目录分组赋权，重启服务，检查服务是否有进程，查看启动日志，删除/tmp目录下旧压缩包。


Jenkins应用部署流程图


4、任务计划

4.1、搭建环境

Jenkins

指路【Jenkins系列】如何搭建Jenkins环境。


Ansible

1、安装Ansible
yum install ansible -y


2、查看版本信息
ansible -version


Git

1、安装Git
yum install git -y


2、查看版本信息
git --version


GitLab

因为这个我没有实践成功的教程，所以在这里就不贴啦~


Node.js

1、解压node安装包，注：参数不用z
tar xvf node-v6.16.0-linux-x64.tar -C /data


2、安装cnpm
npm install -g cnpm --registry=https://registry.npm.taobao.org


3、在/usr/bin目录下设置软连接
ln -s  /data/node-v6.16.0-linux-x64/bin/cnpm  /usr/bin/cnpm


4、查看版本信息
cnpm -v


Maven

1、下载Maven
方式一：官网下载：http://maven.apache.org/download.cgi
方式二：wget Maven下载地址
wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz（清华大学开源软件镜像服务）
wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz（北京理工大学开源软件镜像服务）


2、解压tar包到/usr/local/
tar -zxvf apache-maven-3.3.9-bin.tar.gz  -C /usr/local/


3、配置环境变量，编辑/etc/profile文件，在/etc/profile文件末尾增加以下配置：vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH


4、使用source命令立即生效，刷新环境变量
source /etc/profile


5、查看版本信息
mvn -version


JDK

1、下载JDK：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


2、解压tar包到/usr/local/目录下
tar zxvf jdk1.8.0_201.tar.gz -C /usr/local/


3、配置环境变量，编辑/etc/profile文件，在/etc/profile文件末尾增加以下配置：vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


4、使用source命令立即生效，刷新环境变量
source /etc/profile


5、检验JDK是否安装成功,注：-version,不是--version
java -version 或者 javac


6、踩坑
如果出现这-bash: /usr/local/java/jdk1.8.0_171/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: No such file问题
运行这个命令解决：sudo yum install glibc.i686


Nginx

0、前提
安装依赖包
yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel


1、下载nginx
方式一：官网下载：http://nginx.org/en/download.html
方式二：wget http://nginx.org/download/nginx-1.13.7.tar.gz


2、解压tar包到/usr/local/nginx/目录下
tar -zxvf nginx-1.13.7.tar.gz -C /usr/local/ngnix/


3、安装nginx
cd /usr/local/nginx/nginx-1.13.7
执行配置
./configure
编译安装
make && make install


4、配置nginx.conf,将端口号改成8089，因为可能apeache占用80端口，apeache端口尽量不要修改，选择修改nginx端口
vim /usr/local/nginx/nginx-1.13.7/conf/nginx.con


5、启动nginx
cd /usr/local/nginx/sbin/nginx/nginx-1.13.7
./nginx 启动
./nginx -s stop 关闭
./nginx -s reload 重启


6、查看nginx进程是否启动
ps -ef | grep nginx


7、验证nginx是否配置成功
nginx -t


8、查询nginx的安装路径
whereis nginx


2、编写前置脚本

#!/bin/bash


#app_build.sh


app_name=${1}                   #项目名称,例:Learn-Java
group_name=${2}                 #分组名称,例:best
env_name=${3}                   #环境名称,例:test1
time=`date +%Y-%m-%d_%H:%M:%S`  #时间


#检测前端编译是否成功
shell_check(){
    if [ $? -eq 0 ];then
        echo -e "\033[32m${time} ===前端编译成功，继续===\033[0m"
    else
        echo -e "\033[31m${time} ===前端编译失败，请排查问题再发布===\033[0m"
        exit 1
    fi
}


if [[ ${env_name} = "请选择" ]] ; then
    echo -e "\033[31m${time} 请选择正确环境!\033[0m"
    exit 1
elif [[ ${env_name} = "test1" || ${env_name} = "test2" ]] ; then
    echo -e "\033[32m${time} ${group_name} ${app_name} ${env_name}  前端编译 cnpm install\033[0m"
    cd /jenkins_workspace/${group_name}_${app_name}/${app_name}-view/
    cnpm install
    echo -e "\033[32m${time} ${group_name} ${app_name} ${env_name}\033[0m"
    npm run build:test1
    shell_check
    echo -e "\033[32m${time} cp /jenkins_workspace/deploy.sh to /jenkins_workspace/${group_name}_${app_name}\033[0m"
    cp /jenkins_workspace/deploy.sh  /jenkins_workspace/${group_name}_${app_name}
else
    echo -e "\033[31m${time} 请输入正确参数!\033[0m"
fi


3、编写应用部署脚本

#!/bin/bash


#deploy.sh


app_name=${1}                   #项目名称,例:Learn-Java
env_name=${3}                   #环境名称,例:test1
time=`date +%Y-%m-%d_%H:%M:%S`  #时间


#检查上一条命令是否执行成功
shell_check(){
    if [ $? -eq 0 ];then
        echo -e "\033[32m${time} 2|8、上一条命令执行成功, 继续\033[0m"
    else
echo?-e?"\033[31m${time}?2|8、上一条命令执行失败,?退出\033[0m"
        exit 1
    fi
}


#部署应用服务
deploy_app(){
    echo -e "\033[32m${time} 1、解压${app_name}.tar.gz\033[0m"
    cd /tmp/${app_name}/target/ && tar -xzvf ${app_name}.tar.gz


    shell_check


    echo -e "\033[32m${time} 3、停止${app_name}服务\033[0m"
    var=`cd /app/${app_name}/bin/ && su ${app_name} stop.sh`
    if [[ $var = *alive* ]];then
        echo -e "\033[31m${time} $var 无法正常停止应用进程,请前往服务器进行排查\033[0m"
        exit 1
    else
        echo -e "\033[32m${time} $var ,继续\033[0m"
    fi


    echo -e "\033[32m${time} 4、覆盖代码\033[0m"
    rsync -r  /tmp/${app_name}/target/conf/ /app/${app_name}/config
    rsync -r --delete /tmp/${app_name}/target/lib/ /app/${app_name}/lib


    echo -e "\033[32m${time} 5、拉取disconf\033[0m"
    cd /app/${app_name}/config && wget -O configs.tar.gz http://disconf.demo.com/api/config/downConfigs?app=${app_name}'&'env_name=${env_name}'&'version=1.0.0 && tar -xvf configs.tar.gz && rm -rf configs.tar.gz


    echo -e "\033[32m${time} 6、分组赋权\033[0m"
    cd /app && chown -R ${app_name}:coreapp ${app_name}


    echo -e "\033[32m${time} 7、重启服务\033[0m"
    cd /app/${app_name}/bin/ && su ${app_name} start.sh


    shell_check


    pid=`ps aux | grep ${app_name} | grep -v grep | awk '{print $2}'`
    if [ "${pid}" ]; then
        echo -e "\033[32m${time} 9、${app_name} core ${pid} 启动成功\033[0m"
    else
        echo -e "\033[31m${time} 9、${app_name} core ${pid} 启动失败\033[0m"
        exit 1
    fi


    echo -e "\033[32m${time} 10、查看日志\033[0m"
    cd /app/${app_name}/log/ && tail -n 200 stdout.log


    echo -e "\033[32m${time} 11、删除/tmp目录下旧压缩包,避免再次部署代码重复\033[0m"
    cd /tmp && rm -rf ${app_name}
}


deploy_app


4、Jenkins配置

指路【Jenkins系列】如何构建Jenkins Job。

新增Job，主要用于拉取代码，执行Maven编译，执行app_build.sh，将压缩包通过ssh发送到目标机器，远程调用目标机器的deploy.sh。


三、含泪踩坑


踩坑1

问题描述：在错误的路径拉取配置，原因是未成功解压压缩包。

解决方案：校验压缩包是否解压成功解压成功，并且在cd到正确的路径后添加&&（&&表示上一条命令执行成功再执行下一条命令）才进行拉取配置。


踩坑2

问题描述：项目没有正常停止，导致无法重新启动。

解决方案：虽然执行kill -9，但是未找到根本原因，因此加了一个检测机制，如果检测没有正常停止服务，则退出程序。


踩坑3

问题描述：生产部署脚本拉取了开发环境的的jdbc配置，原因是生产部署脚本写错了开发环境disconf的域名，当时我同时在搞开发生产环境的脚本，开发和生产是两套不同的脚本，一时混乱写错了，吓得一批，好在当时生产环境还没投产使用。

解决方案：为了避免后续这种情况的发生，而且是必须避免的，我们通过环境名称来判断走开发还是生产域名，这样就能保证脚本一致性了。


在这个项目实际遇到的问题远不止上面这几个，在这个实践过程中，我对整个应用部署流程有了更深的理解，平时方方面面的学习终于集中化起来进行实践了。


我习惯将学到的知识和遇到的问题记录起来，在写这篇文章的过程回过头来看，五味杂陈，原来我都经历了这些哈哈哈......


踩过的坑终究使我更加强大，带你见证呱呱本呱成长为参天大呱~


关注【嘎嘎软件测试】

搞测试，不迷路

呱呱大王本呱带你飞！

嘎嘎软件测试 将分享个人成长、团队管理、软件测试技能知识等内容，更新频率一周两篇，做到有思想、有观点、有深度，欢迎订阅。

相关推荐

系统集成项目管理工程师难考吗

　　系统集成项目管理工程师考试的普遍通过率是在10%左右，但是并不表示考试真的有那么难。因为考试本身没有报考条件的限制，且考试报名费用很低，很多人都不重视考试。所以通过率普遍偏低，只要你认真备考，有一...

360影视大全下载2025免费版（下载360影视大全最新版下载安装到手机版）

你好朋友360影视大全里的很多视频都是免费的，建议安装最新的360影视大全就可以了打开360视频，搜索自己需要的视频，点击360播放器右下角的下载箭头，即可将视频进行下载，下载完毕之后视频会保存在36...

360安全卫士手机版下载（360安全卫士官方免费下载手机版5.5.0）

相当靠谱360手机卫士是一款由奇虎网推出的功能强、效果好、受用户欢迎的上网安全软件。360安全卫士拥有查杀木马、清理插件、修复漏洞、电脑体检、保护隐私等多种功能，并独创了“木马防火墙”“360密盘”等...

deepin和统信uos（统信和deepin的区别）

差不多。1Deepin原名LinuxDeepin、deepinos、深度操作系统，于2014年4月改名Deepin。deepin团队基于Qt/C++（用于前端）和Go（用于后端）开发了的全新深度桌...

三星驱动（三星驱动板）

驱动是必须装的，但不需要单独安装驱动。　　1、电脑的所有硬件，必然要装驱动，键盘、鼠标什么的，都是有驱动的。驱动是软件和硬件结合的桥梁。但多数普通常见的硬件，驱动是widnows系统自带的，不需要用户...

u盘启动杀毒软件（u盘杀毒系统）

　　有，但是主要是专杀工具，全面的综合杀毒软件基本上没有，因为没什么用。　　1、放在U盘里的杀毒软件，就是不安装，也不监控，只杀毒的软件。　　2、目前的杀毒软件的工作机制，主要是监控，监控电脑不感染病...

联想维修站点查询官网（联想 维修 服务网点）

您可以在联想的官方网站上查询到附近的授权维修服务点，或者拨打联想的客服电话寻求帮助。在维修服务点，您可以享受到专业的维修服务，包括硬件故障、软件问题、系统优化等方面的维护和维修。维修人员将会根据您的电...

怎么登录hotmail邮箱（邮箱登陆hotmail）
  • 怎么登录hotmail邮箱（邮箱登陆hotmail）
  • 怎么登录hotmail邮箱（邮箱登陆hotmail）
  • 怎么登录hotmail邮箱（邮箱登陆hotmail）
  • 怎么登录hotmail邮箱（邮箱登陆hotmail）
电脑不识别移动硬盘（移动硬盘灯亮但不读取）

电脑不能识别移动硬盘可能是由于以下原因造成的：1.电脑和硬盘之间的连接首先，可以确保移动硬盘正确连接到电脑上，检查USB接口是否松动或损坏，可以尝试更换USB线或者尝试连接到其他USB接口看是否能够...

键盘的win键在哪里（电脑键盘的win键在哪里）

win键就是电脑键盘上显示WINDOWS标志的按键。位于CTRL键与ALT键两个键之间，win键的具体位置一般电脑键盘上有左右两个。Windows键是一种特殊的键，通常位于键盘的左下角。它的图案是一个...

新手学做ppt（新手学做ppt的软件有哪些）
  • 新手学做ppt（新手学做ppt的软件有哪些）
  • 新手学做ppt（新手学做ppt的软件有哪些）
  • 新手学做ppt（新手学做ppt的软件有哪些）
  • 新手学做ppt（新手学做ppt的软件有哪些）
ghost全盘备份步骤图（用ghost怎么进行全盘备份）

可以用手动备份到指定分区。一、用一键Ghost还原中的“中文向导”备份开始-程序-一键Ghost-选出“中文向导”，Ghost中文向导-1、备份文件默认是“第1硬盘第1分区”，如果不是，将鼠标指针移...

键盘的windows键是哪一个（键盘上windows键是哪个键）
键盘的windows键是哪一个（键盘上windows键是哪个键）

windows键就是电脑键盘上ctrl键和alt键之间的按键，位于左下角。它带着微软的徽标，跟开始菜单一样的图标，它属于辅助按键，主要与其它按键组合使用，实现一些特定的功能，组合成多种快捷操作方式。这里上面所知的Win键其实就是键盘上的Wi...

2025-12-31 10:51 off999

win10打开设置快捷键（win10打开设置快捷键是什么）

1、首先打开电脑，在任务栏的语言地方点击一下再点击语言首选项。2、然后在新的界面里点击选择左侧“高级设置”按钮。3、之后在新的界面里点击选择“更改语言栏热键”按钮。4、然后在新的界面里点击选择“更改热...

flash插件下载手机版下载安装

华为手机的最新系统版本已经不再支持FlashPlayer，这是由于Adobe已于2020年底停止更新和支持FlashPlayer。因此，如果您使用最新的华为手机系统，可能无法安装和使用Flash...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.