软件开发生命周期又叫做SDLC(SoftwareDevelopmentLifeCycle),它是集合了计划、开发、测试和部署过程的一整套流程
这是生命周期的第一阶段,根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标
第二阶段就是设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划。计划可以使用图表,布局设计或者文者的方式呈现
测试人员进行代码测试,包括功能测试、代码测试、压力测试等
最后进阶段就是对产品不断的进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修改,bug修复,功能增加等
瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动,有点像生产线一样。在瀑布模型创建之初,没有其它开发的模型,有很多东西全靠开发人员去猜测,去开发。这样的模型仅适用于那些简单的软件开发,但是已经不适合现在的开发了。
敏捷开发(AgileDevelopment)的核心是迭代开发(IterativeDevelopment)与增量开发(IncrementalDevelopment)
1)迭代开发
对于大型软件项目,传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一次"大开发";迭代开发的方式则不一样,它将开发过程拆分成多个小周期,即一次"大开发"变成多次"小开发",每次小开发都是同样的流程,所以看上去就好像重复在做同样的步骤
举例来说,SpaceX公司想造一个大推力火箭,将人类送到火星。但是,它不是一开始就造大火箭,而是先造一个最简陋的小火箭Falcon1。结果,第一次发射就爆炸了,直到第四次发射,才成功进入轨道。然后,开发了中型火箭Falcon9,九年中发射了70次。最后,才开发Falcon重型火箭。如果SpaceX不采用迭代开发,它可能直到现在还无法上天
2)增量开发
软件的每个版本,都会新增一个用户可以感知的完整功能。也就是说,按照新增功能来划分迭代
举例来说,房产公司开发一个10栋楼的小区。如果采用增量开发的模式,该公司第一个迭代就是交付一号楼,第二个迭代交付二号楼......每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基,第二个迭代建好每栋楼的骨架,第三个迭代架设屋顶......
3)敏捷开发如何迭代
虽然敏捷开发将软件开发分成多个迭代,但是也要求,每次迭代都是一个完整的软件开发周期,必须按照软件工程的方法论,进行正规的流程管理
1)早期交付
敏捷开发的第一个好处,就是早期交付,从而大大降低成本。还是以上一节的房产公司为例,如果按照传统的"瀑布开发模式",先挖10栋楼的地基、再盖骨架、然后架设屋顶,每个阶段都等到前一个阶段完成后开始,可能需要两年才能一次性交付10栋楼。也就是说,如果不考虑预售,该项目必须等到两年后才能回款。敏捷开发是六个月后交付一号楼,后面每两个月交付一栋楼。因此,半年就能回款10%,后面每个月都会有现金流,资金压力就大大减轻了
2)降低风险
敏捷开发的第二个好处是,及时了解市场需求,降低产品不适用的风险。请想一想,哪一种情况损失比较小:10栋楼都造好以后,才发现卖不出去,还是造好第一栋楼,就发现卖不出去,从而改进或停建后面9栋楼?
持续集成(Continuousintegration,简称CI)指的是,频繁地(一天多次)将代码集成到主干。持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。通过持续集成,团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成
根据持续集成的设计,代码从提交到生产,整个过程有以下几步:
1)提交:开发者向代码仓库提交代码,所有后面的步骤都始于本地代码的一次提交
2)测试(第一轮):代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试
3)构建:指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等。通过第一轮测试,代码就可以合并进主干,就算可以交付了。交付后,就先进行构建(build),再进入第二轮测试
4)测试(第二轮):构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,这时构建步骤也要移到第一轮测试前面
5)部署:过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包存档,发到生产服务器。
6)回滚:一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录
1)一个自动构建过程,从检出代码、编译构建、运行测试、结果记录、测试统计等都是自动完成的,无需人工干预。
2)一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般使用SVN或Git。
3)一个持续集成服务器,Jenkins就是一个配置简单和使用方便的持续集成服务器。
1)降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价就少;
2)对系统健康持续检查,减少发布风险带来的问题;
3)减少重复性工作;
4)持续部署,提供可部署单元包;
5)持续交付可供使用的版本;
6)增强团队信心;
1)首先,开发人员每天进行代码提交,提交到Git仓库
2)然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
3)最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。
本实验均采用CentOS7作为服务器
GitLab是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品,免费且开源(基于MIT协议),与Github类似,可以注册用户,任意提交你的代码,添加SSHKey等等。不同的是,GitLab是可以部署到自己的服务器上,数据库等一切信息都掌握在自己手上,适合团队内部协作开发,你总不可能把团队内部的智慧总放在别人的服务器上吧?简单来说可把GitLab看作个人版的GitHub。
修改完密码后即可登陆:
1)创建组
使用管理员root创建组,一个组里面可以有多个项目,可以将开发添加到组里面进行设置权限,不同的组就是公司不同的开发项目或者服务模块,不同的组添加不同的开发即可实现对开发设置权限的管理
2)创建用户
创建用户的时候,可以选择Regular或Admin类型。
regular:普通用户,只能访问他的项目与组
admin:管理员,可以访问所有的项目与组
创建完用户后,立即修改密码:
3)用户添加进组
选择某个用户组,进行Members管理组的成员
角色说明:
Reporter:可以克隆代码,不能提交,QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push,普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目,核心开发可以赋予这个权限
Owner:可以设置项目访问权限-VisibilityLevel、删除项目、迁移项目、管理组成员,开发组组长可以赋予这个权限
4)在用户组中创建项目
来到IDEA开发工具,准备好一个简单的Web应用准备到集成部署。要把源码上传到Gitlab的项目仓库中
1)项目结构说明
2)开启版本控制
3)提交代码到远程仓库
先add代码到缓存区
再Commit到本地仓库:
推送到Gitlab项目仓库中:
指定远程仓库:
输入gitlab的用户名和密码,然后就可以把代码推送到远程仓库啦
刷新Gitlab:
也可以使用git命令直接推送:
gitinitgitadd*gitcommit-m"项目初始化"gitremoteaddorigingit@10.0.0.101:dianchou_group/tensquare_back.gitgitpush-uoriginmaster2.3.6、Gitlab备份与恢复1)Gitlab备份
#使用以下命令会在/var/opt/gitlab/backups目录下创建一个名称类似为xxx_gitlab_backup.tar的压缩包[root@gitlab~]#gitlab-rakegitlab:backup:create[root@gitlabbackups]#pwd/var/opt/gitlab/backups[root@gitlabbackups]#lltotal39272-rw-------1gitgit40212480Mar2717:351616837730_2021_03_27_12.4.2_gitlab_backup.tar注意:gitlab.rb和gitlab-secrets.json包含敏感信息,不会自动备份,需要手动备份
#修改默认存放备份站点目录,然后进行重新加载配置文件[root@gitlab~]#vim/etc/gitlab/gitlab.rbgitlab_rails['backup_path']="/data/gitlab/backups"[root@gitlab~]#gitlab-ctlreconfigure#手动备份[root@gitlab~]#gitlab-rakegitlab:backup:create#自动备份#实现每天凌晨2点进行一次自动备份:通过crontab使用备份命令实现0002***/usr/bin/gitlab-rakegitlab:backup:create2)Gitlab恢复
Jenkins是一款流行的开源持续集成(ContinuousIntegration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能
1)开源的Java语言开发持续集成工具,支持持续集成,持续部署
2)易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理
3)消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告
4)分布式构建:支持Jenkins能够让多台计算机一起构建/测试
5)文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等
6)丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven,docker等
1)安装jdk8
[root@jenkins~]#rpm-ivhjdk-8u162-linux-x64.rpm[root@jenkins~]#java-versionjavaversion"1.8.0_162"Java(TM)SERuntimeEnvironment(build1.8.0_162-b12)JavaHotSpot(TM)64-BitServerVM(build25.162-b12,mixedmode)2)安装jenkins的rpm包
[root@jenkins~]#vim/etc/sysconfig/jenkinsJENKINS_USER="root"JENKINS_PORT="8888"4)启动jenkins
6)获取并输入admin账户密码
7)跳过插件安装
因为Jenkins插件需要连接默认官网下载,速度非常慢,而且经过会失败,所以我们暂时先跳过插件安装
8)创建一个管理员账户并进入后台
Jenkins本身不提供很多功能,我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码,使用Maven构建项目等功能需要依靠插件完成
1)修改Jenkins插件下载地址
Jenkins国外官方插件地址下载速度非常慢,所以可以修改为国内插件地址
Jenkins->ManageJenkins->ManagePlugins,点击Available
接着修改地址文件,替换为国内插件地址:
2)安装中文汉化插件
Jenkins->ManageJenkins->ManagePlugins,点击Available,搜索"Chinese"
重启Jenkins后,就看到Jenkins汉化了!(PS:但可能部分菜单汉化会失败)
我们可以利用Role-basedAuthorizationStrategy插件来管理Jenkins用户权限
1)安装Role-basedAuthorizationStrategy插件
2)配置全局安全配置,切换策略切换为"Role-BasedStrategy",保存
3)创建角色
在系统管理页面进入ManageandAssignRoles,点击"ManageRoles"
Globalroles(全局角色):管理员等高级用户可以创建基于全局的角色
Itemroles(项目角色):针对某个或者某些项目的角色
我们添加以下三个角色:
4)创建用户
在系统管理页面进入ManageUsers==>新建用户
分别创建两个用户:jack和eric
5)给用户分配角色
系统管理页面进入ManageandAssignRoles,点击AssignRoles,绑定规则如下:
6)创建项目测试权限
以admin管理员账户创建两个项目,分别为dianchou01和itdianchou01
结果为:
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互
1)安装CredentialsBinding插件
安装插件后,系统管理里面会出现manageCredentials,在这里管理所有凭证
可以添加的凭证有5种:
Usernamewithpassword:用户名和密码
SSHUsernamewithprivatekey:使用SSH用户和密钥
Secretfile:需要保密的文本文件,使用时Jenkins会将文件复制到一个临时目录中,再将文件路径设置到一个变量中,等构建结束后,所复制的Secretfile就会被删除。
Secrettext:需要保存的一个加密的文本串,如钉钉机器人或Github的apitoken
Certificate:通过上传证书文件的方式
常用的凭证类型有:Usernamewithpassword(用户密码)和SSHUsernamewithprivatekey(SSH密钥)
1)安装Git插件和Git工具
为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOS7上安装Git工具
CentOS7上安装Git工具:
[root@jenkins~]#yuminstallgit-y[root@jenkins~]#gitversiongitversion1.8.3.12)用户密码类型凭证
系统管理>manageCredentials>全局==>添加凭据
选择"Usernamewithpassword",输入Gitlab的用户名和密码,点击"确定"。
测试凭证是否可用,创建一个FreeStyle项目:新建Item->FreeStyleProject->确定
找到"源码管理"->"Git",在RepositoryURL复制Gitlab中的项目URL
保存配置后,点击立即构建开始构建项目
查看/var/lib/jenkins/workspace/目录,发现已经从Gitlab成功拉取了代码到Jenkins中
3)SSH秘钥类型
jenkin服务器上使用root用户生成公钥和私钥
在Jenkins中添加凭证,配置私钥,在Jenkins添加一个新的凭证,类型为"SSHUsernamewithprivatekey",把刚才生成私有文件内容复制过来
测试凭证是否可用,新建"test02"项目->源码管理->Git,这次要使用Gitlab的SSH连接,并且选择SSH凭证
同样尝试构建项目,如果代码可以正常拉取,代表凭证配置成功
在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目
1)安装maven并配置环境变量
[root@jenkins~]#tarxfapache-maven-3.6.2-bin.tar.gz-C/opt/[root@jenkins~]#mv/opt/apache-maven-3.6.2//opt/maven[root@jenkins~]#vim/etc/profile#java配置exportJAVA_HOME=/usr/java/jdk1.8.0_162exportPATH=$PATH:$JAVA_HOME/bin#maven配置exportMAVEN_HOME=/opt/mavenexportPATH=$PATH:$MAVEN_HOME/bin[root@jenkins~]#source/etc/profile[root@jenkins~]#mvn-vApacheMaven3.6.2(40f52333136460af0dc0d7232c0dc0bcf0d9e117;2019-08-27T23:06:16+08:00)Mavenhome:/opt/mavenJavaversion:1.8.0_162,vendor:OracleCorporation,runtime:/usr/java/jdk1.8.0_162/jreDefaultlocale:en_US,platformencoding:UTF-8OSname:"linux",version:"3.10.0-693.el7.x86_64",arch:"amd64",family:"unix"2)全局工具配置关联JDK和Maven
Jenkins->GlobalToolConfifiguration->JDK->新增JDK,配置如下:
Jenkins->GlobalToolConfifiguration->Maven->新增Maven,配置如下:
3)添加Jenkins全局变量
ManageJenkins->ConfifigureSystem->GlobalProperties,添加三个全局变量JAVA_HOME、M2_HOME、PATH+EXTRA
4)修改Maven的settings.xml,修改本地仓库地址,设置阿里云私服地址
使用之前的gitlab密码测试项目,修改配置:构建->增加构建步骤->ExecuteShell
再次构建,如果可以把项目打成war包,代表maven环境配置成功啦!
1)Tomcat安装
2)配置tomcat用户角色权限
默认情况下Tomcat是没有配置用户角色权限的
但是,后续Jenkins部署项目到Tomcat服务器,需要用到Tomcat的用户,所以修改tomcat以下配置,添加用户及权限
#用户和密码都是:tomcat[root@tomcat~]#vim/opt/tomcat/conf/tomcat-users.xml
Causedby:org.codehaus.cargo.container.tomcat.internal.TomcatManagerException:Theusernameyouprovidedisnotallowedtousethetext-basedTomcatManager(error403)
解决方法:
Jenkins中自动构建项目的类型有很多,常用的有以下三种:
每种类型的构建其实都可以完成一样的构建过程与结果,只是在操作方式、灵活度等方面有所区别,在实际开发中可以根据自己的需求和习惯来选择。(PS:个人推荐使用流水线类型,因为灵活度非常高)
1)创建项目
2)配置源码管理,从gitlab拉取代码
构建->添加构建步骤->ExecutorShell
把项目部署到远程的Tomcat里面
1)安装Deploytocontainer插件
2)添加Tomcat用户凭证
3)添加构建后操作
4)点击"BuildNow",开始构建过程
6)演示代码改动后的持续集成
IDEA中源码修改并提交到gitlab
在Jenkins中项目重新构建,访问tomcat
1)安装MavenIntegration插件
2)创建maven项目
3)配置项目
拉取代码和远程部署的过程和自由风格项目一样,只是"构建"部分不同
1)概念
Pipeline,简单来说,就是一套运行在Jenkins上的工作流框架,将原来独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。
2)使用Pipeline有以下好处(来自翻译自官方文档):
代码:Pipeline以代码的形式实现,通常被检入源代码控制,使团队能够编辑,审查和迭代其传送流程。
持久:无论是计划内的还是计划外的服务器重启,Pipeline都是可恢复的。
可停止:Pipeline可接收交互式输入,以确定是否继续执行Pipeline。
多功能:Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行,并行执行任务的功能。
可扩展:Pipeline插件支持其DSL的自定义扩展,以及与其他插件集成的多个选项。
3)如何创建JenkinsPipeline呢?
创建项目
说明:
stages:代表整个流水线的所有执行阶段。通常stages只有1个,里面包含多个stage
stage:代表流水线中的某个阶段,可能出现n个。一般分为拉取代码,编译构建,部署等阶段。
steps:代表一个阶段内需要执行的逻辑。steps里面是shell脚本,git拉取代码,ssh远程发布等任意内容。
pipeline{agentanystages{stage('拉取代码'){steps{echo'拉取代码'}}stage('编译构建'){steps{echo'编译构建'}}stage('项目部署'){steps{echo'项目部署建'}}}}点击构建,可以看到整个构建过程
2)ScriptedPipeline脚本式-Pipeline
这次选择"ScriptedPipeline"
Node:节点,一个Node就是一个Jenkins节点,Master或者Agent,是执行Step的具体运行环境,后续讲到Jenkins的Master-Slave架构的时候用到。
Stage:阶段,一个Pipeline可以划分为若干个Stage,每个Stage代表一组操作,比如:Build、Test、Deploy,Stage是一个逻辑分组的概念。
Step:步骤,Step是最基本的操作单元,可以是打印一句话,也可以是构建一个Docker镜像,由各类Jenkins插件提供,比如命令:sh‘make’,就相当于我们平时shell终端中执行make命令一样。
1)拉取代码
使用片段生成器生成pipeline代码:
2)编译构建
3)项目部署
4)完整的pipeline脚本
1)在项目根目录建立Jenkinsfile文件,把内容复制到该文件中并推送至gitlab
2)在项目中引用该文件
1)安装插件
2)流水线项目构建并查看
Jenkins内置4种构建触发器:
测试:直接在浏览器上输入JENKINS_URL/job/test01_pipeline_declarative/buildtoken=TOKEN_NAME,看是否触发构建
1)创建pre_job流水线工程
2)配置需要触发的工程
定时字符串从左往右分别为:分时日月周
一些定时表达式的例子:
每30分钟构建一次:H代表形参H/30****
每2个小时构建一次:HH/2***
每天中午12点定时构建一次:H12***
每天下午18点定时构建一次:H18***
在每个小时的前半个小时内的每10分钟:H(0-29)/10****
每两小时一次,每个工作日上午9点到下午5点(也许是上午10:38,下午12:38,下午2:38,下午4:38):HH(9-16)/2**1-5
轮询SCM:是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建
注意:这种构建触发器,Jenkins会定时扫描整个项目的代码,增大系统的开销,不建议使用。
原理:利用Gitlab的webhook实现代码push到仓库,立即触发项目自动构建
需要安装两个插件:GitlabHook和GitLab
1)开启webhook功能
2)在项目添加webhook
点击项目->Settings->Integrations
点击addwebhook并测试pushevents:
此时会报错:
需要在jenkins中配置:ManageJenkins->ConfifigureSystem:
在gitlab中再次测试:
有时在项目构建的过程中,我们需要根据用户的输入动态传入一些参数,从而影响整个构建结果,这时我们可以使用参数化构建
Jenkins支持非常丰富的参数类型:
1)创建分支并推送至gitlab
新建分支:v1,代码稍微改动下,然后提交到gitlab上
2)在Jenkins添加添加字符串类型参数
3)修改jenkinsfile(master和v1分支都需要修改)
4)构建测试
1)安装GitParameter插件
2)创建自由风格项目并配置
3)创建tag并推送gitlab
在gitlab中查看:
4)根据tag构建或者回滚代码
ManageJenkins->ConfifigureSystem
2)设置邮件参数
邮件通知设置:
3)准备邮件模板
在项目根目录编写email.html,并把文件推送到Gitlab,内容如下
系统设置->ExtendedE-mailNotifification->ContentTokenReference,点击旁边的号
5)构建测试
注意:关键字需要在pipeline中的Text中带上
SonarQube是一个用于管理代码质量的开放平台,可以快速的定位代码中潜在的或者明显的错误。目前支持java,C#,C/C++,Python,PL/SQL,Cobol,JavaScrip,Groovy等二十几种编程语言的代码质量管理与检测
流程图:
在MySQL创建sonar数据库:
#token要记下来后面要使用admin:c9bb023589b7894c70708eeae10c64faa0c29d4a8.3.4、Jenkins安装插件安装SonarQubeScanner插件
SonaQube关闭审查结果上传到SCM功能:
ManageJenkins->ConfigureSystem->SonarQubeservers
ManageJenkins->GlobalToolConfifiguration
-------------------------------------------
个性签名:独学而无友,则孤陋而寡闻。做一个灵魂有趣的人!