转载本文需注明出处:微信公众号eaworld,违者必究。
引言:
devops平台在研发过程中,集成了许多的第三方工具来完善持续集成的流程,诸如jira、gitlab、jenkins等,集成一个工具其实是一个繁琐的工作,需要注意到许多的细节,那么我们又是怎么做的呢本文就是介绍一下我们是如何将这些工具集成到devops平台中去的。
目录:
1.devops平台第三方服务集成概览
2.devops平台第三方服务集成思路
3.devops平台第三方服务集成示例
1.devops平台第三方服务集成概览
说明:devops平台所有集成的第三方服务信息都保存在平台管理的服务集成页面,如下图展示:
1、介质服务器
devops平台采用的介质服务器类型为nexus,nexus是一个强大的maven仓库管理器,它极大的简化了本地内部仓库的维护和外部仓库的访问。
2、构建引擎
devops平台采用的构建引擎类型为jenkins,jenkins是一个开源软件项目,是基于java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。
jenkins是devops平台很重要的一个组成部分,cicd就靠jenkins来实现,用户可以在devops平台创建一个构建定义、配置好需要的任务如maven构建,还可配置定期执行或触发执行该构建任务,将用户从繁琐的构建工作中解脱出来。
3、部署引擎
devops平台采用的部署引擎类型与构建引擎同为jenkins。
4、质量分析服务器
devops平台采用的质量分析服务器为sonarqube,sonarqube 是一个用于代码质量管理的开源平台,用于管理源代码的质量。通过插件形式,可以支持包括java, c#, c/c++, pl/sql, cobol, javascrip, groovy等等二十几种编程语言的代码质量管理与检测。
5、项目管理服务器
devops平台的项目管理我们采用的是jira和zentao这两个专业化的工具,依靠这两个工具支持起了devops平台的项目管理、概览和任务三大模块,用户可以很便捷的在devops平台查看编辑项目的基本信息、新建一个迭代和查找指派给自己的需求任务bug,提高工作效率。
jira 是atlassian公司出品的项目与事务跟踪工具,被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。
zentao 是国产的开源项目管理软件,专注研发项目管理,内置需求管理、任务管理、bug管理、缺陷管理、用例管理、计划发布等功能,实现了软件的完整生命周期管理。
6、容器云服务器
devops平台集成的容器云服务器类型为k8s。
容器云以容器为资源分割和调度的基本单位,封装整个软件运行时环境,为开发者和系统管理员提供用于构建,发布和运行分布式应用的平台。
7、镜像服务器
devops集成的镜像服务器类型为harbor。
harbor是一个用于存储和分发docker镜像的企业级registry服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源docker distribution。作为一个企业级私有registry服务器,harbor提供了更好的性能和安全。提升用户使用registry构建和运行环境传输镜像的效率。harbor支持安装在多个registry节点的镜像资源复制,镜像全部保存在私有registry中,确保数据和知识产权在公司内部网络中管控。另外,harbor也提供了高级的安全特性,诸如用户管理,访问控制和活动审计等。
8、代码服务器
devops采用了gitlab、github和svn作为代码的管理工具,支撑起了平台的代码模块,用户的项目相关代码都可以存储在以上三种工具中并关连到devops平台的相应项目里,方便用户查看对比代码,也为后续的cicd提供了便利。
gitlab是由gitlabinc.开发,使用mit许可证的基于网络的git仓库管理工具,且具有wiki和issue跟踪功能。使用git作为代码管理工具,并在此基础上搭建起来的web服务。
github是一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名github。
svn是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,简而言之就是用于多个人共同开发同一个项目,实现共享资源,实现最终集中式的管理。
9、文档服务器
confluence服务器的存在使得整个项目生产过程中的文档有了一个集中存储的地方,方便管理。
confluence为团队提供一个协作环境。在这里,团队成员齐心协力,各擅其能,协同地编写文档和管理项目。从此打破不同团队、不同部门以及个人之间信息孤岛的僵局,confluence真正实现了组织资源共享。
2.devops平台第三方服务集成思路
1、数据实体的对应
devops平台有属于自己的模板,比如工作项模板、迭代模板等,这就要求在集成第三方服务的时候要将获得的数据映射到devops模板中去再做展示,举例说,devops平台在集成zentao作为项目管理工具的时候,有bug、story、task三张表,而devops平台只有workitem一张表,那么我们就要将3张表的数据想办法转换到1张表中,这个过程肯定会存在概念无法对应的问题,解决思路要么就是用相近的概念替换,或者剔除掉多余的概念,总之,还是要以devops平台的模板为主;
2、api接口的调用
有些时候,第三方服务提供出来的api接口难以操作,或者存在接口错误的情况,此时我们就要转换思路,废弃使用api接口改为直接操作数据也许是一个好的解决方案;
拿gitlab来说,gitlab至今已经出了12版本,使用的api版本也已经到了v4,若我们还是使用gitlab8的v3版api调用gitlab12的接口是会出现问题的。
3.devops平台第三方服务集成示例
1、gitlab集成
devops平台集成gitlab过程大体可以分为以上3个步骤,先要做的是了解gitlab的api接口,看一下身份认证方式是通过token还是session等,gitlab的接口有很多我们是不需要的,此时我们就需要看devops模板需要哪些,不需要哪些,将需要的接口整理出来,并研究它们的queryparam和body的格式,验证接口是否可以正确调通,接口通了,我们得到了需要的数据,但是数据格式跟devops的模板不符,我们就要进行最后一步,将所得数据映射到devops模板就大功告成了。
1 )研究gitlabapi接口
gitlabapi接口我们可以直接从官网的相关文档查阅,按照官方的说明,自gitlab 9.0起,api v4是首选使用的版本。2017年8月22日发布的gitlab 9.5不支持api v3。在gitlab 11.0中删除了api v3 ,就是说11版本起gitlab不再支持v3版本的api,所以我们在集成gitlab的时候就要考虑集成两个版本的api。
2 )筛选devops平台所需的接口
devops平台集成gitlab仅需要应用到gitlab的部分接口,如代码库的增删改查,分支、标签的增删改查等,过滤去无用的接口,并以查询分支接口举例。
可见,该请求的身份认证方式是通过token实现的,返回的数据格式如图显示:
而devops代码分支模板如下图展示,所以要再做一次映射:
3 )将返回数据填入devops模板并展示
此为集成成功后的gitlab代码库在devops平台中的展示界面,用户可以在此查看代码库的文件内容,分支、标签信息,也可以对比不同分支或标签的差异:
2、zentao集成
因为zentao的接口设计比较特殊,在使用它的api接口来实现集成时遇到了种种问题,故改用了直接操作zentao数据库来实现服务集成的方法。大体步骤是先研究zentao的表结构,然后与devops相应表做对照,然后做devops服务端多数据源实现,直接从zentao数据库读取数据,映射到devops的模板并展示给用户。
1 )研究zentao表结构&将zentao表数据映射至devops模板
以zentao的zt_story表举例,如图是禅道的需求表结构:
下图是devops工作项模板:
要想在devops平台中展示zentao的需求信息,还要做一次数据映射,集成时,需要先设计devops平台的服务端多数据源实现,就是定义一个zentao的dao实现,同时,zentao的数据库需要用户来配置,解决方案1:用户可以在配置文件中配置zentao的数据库地址以及账号密码;解决方案2:用户可以在服务集成处配置zentao的数据库信息;两种方式的dao层实现也是有差异的。下面展示方案1的zentaodao部分实现:
2 )数据展示
成功集成后的任务模块展示如图,用户可以在该界面进行任务、需求、bug的增删改查
4.总结
在集成一个第三方工具时,关注点无非就是如何调用api接口以及将得到的返回结果如何展示,除非api接口调用行不通,才会考虑做一个数据库的集成,在做数据库集成的时候还要小心再小心,如果存在关联表情况,可能会导致第三方工具的某些功能无法使用,还有当api接口访问不成功时,首先要确认请求的body是否符合该接口的规范,若body没问题,再考虑一下api接口的版本是否跟第三方工具的版本匹配,总之,集成并不是一个很难的事情,只要思路明确,耐心细心,总会成功。
精选提问:
问1:sonarqube 感觉不是太好用,有些鸡肋。或者是我们没有用好有什么经验可以分享吗sonarqube 对于小团队 是不是可以舍去呢
答:sonarqube可以配置代码质量检测的规则,可以人为去sonarqube配置规则库,去掉自己不需要的地方。
问2:jira跟nexus如何集成的
答:jira跟zentao同为项目管理服务器,jira的api比较完善,有专业的api文档介绍,是通过集成api的方式来做的,我们有官方文档介绍了jira的初始化操作。
推荐阅读
devops落地实践及案例分享
普元devops 5.3 产品研发发布
devops落地实践分享(内含四步实施过程,问题解决方案等)
关于作者:欣宇,普元java开发工程师,擅长java、mysql、jenkins等;参与devops的5.2-5.5版本的研发工作,参与九江银行的devops部署实施,参与碧桂园devops定制开发等。
关于eaworld:微服务,devops,数据治理,移动架构原创技术分享。长按二维码关注!
