51Testing软件测试论坛

标题: 使用Jenkins进行Python项目的持续集成 [打印本页]

作者: Mario洁 时间: 2018-3-13 16:51
标题: 使用Jenkins进行Python项目的持续集成
持续集成（CI）对于软件工程来说非常重要，它的意义在于产品快速迭代的同时，还能够让代码保
持高质量，所以编写高质量的单元测试代码也显得十分重要。Travis可以免费做开源软件的持续集
成，但是对于闭源软件来说，它的费用非常高昂。另外一款持续集成软件叫Jenkins，它是Java实现
的一款开源持续集成工具，对于Java程序的持续集成支持特别好，网上也有很多这方面的文章。本
文主要讲述怎么运用它来做Python 项目的持续集成。

这里假设大家都比较熟悉Git开发流程了。这里所讲的工作流是Git+Jenkins。首先，我们在持续集
成服务器上安装JDK1.8、Git和Python3（非Python项目无需安装），并且把Python3设置为默认
Python解释器。由于篇幅限制，这里就不展开讲了。然后我们通过pip3 install virtualenv安装虚
拟环境，安装虚拟环境的目的是，在进行持续集成测试的时候，各个项目构建使用不同的虚拟环
境，因为项目不同可能相同依赖的版本会有冲突。

然后，在Jenkins官网上下载Jenkins并将其安装到持续集成服务器上。可以直接下载.war文件，通
过java -jar jenkins.war启动。我用的是CentOS，直接使用它自带的包管理器yum安装。首先，需
要添加jenkins源，可以在官网相关页面查看

sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
然后便可以使用yum install jenkins安装了。安装完成后，我们通过

sudo service jenkins start
启动jenkins，如果启动失败，按照错误提示进行修改，比如我这里是

[root@weibo1 ~]# service jenkins start
Starting Jenkins bash: /usr/bin/java: No such file or directory
[FAILED]
那么可以先使用which java查看java所在路径，我这里是/usr/jdk1.8.0_131/bin/java，再通过

ln -s /usr/jdk1.8.0_131/bin/java /usr/bin/java
建立软连接，再通过service jenkins start就不会报错了。这个时候输入http://your_jenkins_ip:
8080/便可以进入jenkins初始化页面，如下图
[attach]111899[/attach]
Jenkins初始化页面
图中提示了密码所在文件，通过

cat /var/lib/jenkins/secrets/initialAdminPassword
可查询到密码，将其填入密码框即可。

之后，Jenkins会提示我们安装插件，我们选择自定义安装。除了它默认勾选安装的插件之外，
我们还需要安装Cobertura Plugin、JUnit Plugin，前者是和代码覆盖率相关的插件，后者是单
元测试相关插件，其他暂时不用安装，然后我们点击install进行安装。在安装进度条走完之后，
Jenkins会让我们填入登录用户的用户名和密码，提示如下图
[attach]111900[/attach]
填入登录用户的用户名和密码等信息
填入之后，我们便可以使用刚才创建的用户登入系统了。除了在这个时候可以创建用户，还
可以使用超级管理员账号（账号为admin，密码可以通过cat /var/lib/jenkins/secrets/initialAdm
inPassword查看）来创建普通用户，操作路径是Jenkins主页=>系统管理=>管理用户=>新建
用户。还可以通过让用户自行注册的方式来添加用户，不过这个功能默认是关闭的，需要通
过Jenkins主页=>系统管理=>Configure Global Security=>勾选允许用户注册来开启该功能，
这个时候所有用户都具有读写权限，如果Jenkins暴露在公网，会很不安全。我们需要为不同
用户设置不同权限，目前Jenkins支持5种访问控制策略，我们通过Jenkins主页=>系统管理=
>Configure Global Security=>授权策略选择其中的一种，它们的区别，由于篇幅有限，就不
赘述了，推荐选择安全矩阵策略，在添加用户/组添加需要进行访问控制的用户和用户组。如
下是我的设置：
[attach]111901[/attach]
Jenkins访问控制策略
如果我们想进行Python程序的持续集成，还可能需要安装Python Plugin（很奇怪的是，我在
CentOS服务器上不安装它也可以进行持续集成，而在我的MacBook上不安装却无法进行Pyth
on项目持续集成，所以为了保险起见，还是安装吧），它的安装路径是Jenkins 主页=>系统
管理=>插件管理=>可选插件=>Python Plugin。除此之外，这个时候还可以安装Violations p
lugin，它的作用是分析代码行数。该插件依赖sloccount，因此我们这时候可以通过yum inst
all sloccount安装。安装完成后，勾选空闲时重启Jenkins。重启之后，我们便可以进行项目
构建和持续集成测试了。

首先讲公开项目的持续集成。公开项目的持续集成，操作比较简单。我们首先通过下面的目
录结构创建一个Python程序

py_jenkins/
readme.md
.gitignore
tests/
      __init__.py
      auth_tests.py
py_jenkins/
      __init__.py
      auth.py
该程序放在github上，引用的这篇博客的代码，我改成了Python3的语法。

进入正题，我们点击新建开始创建项目，这里我命名为py_jenkins,选择“构建一个自由风格
的软件项目”，如下图
[attach]111902[/attach]
构建项目步骤1
然后点击"OK"，进入另一个页面，如下图
[attach]111903[/attach]
构建项目步骤2
接下来是源码管理，我们只需要输入需要构建的项目的git地址，这里是

https://github.com/ResolveWang/py_jenkins.git
注意，如果持续集成服务器上没安装Git客户端，那么这一步会报错。接下来是构建触发器，
如下图
[attach]111904[/attach]
构建项目步骤4
这里H/3 * * * *表示每三分钟，Jenkins就会去检查一下Git服务器代码是否有变化，有的话就
会触发构建操作。

接下来是构建环境，如下图：
[attach]111905[/attach]
构建项目步骤5
再是构建的时候的具体操作，这里选择Execute shell，如果你还有别的需求，可选择适当进行
增加选项，如下图
[attach]111906[/attach]
构建项目步骤6
我们再填入构建的脚本，内容如下

/usr/local/bin/virtualenv env
. env/bin/activate
pip install --quiet nosexcover
pip install --quiet mock
nosetests --with-xcoverage --with-xunit --cover-package=py_jenkins --cover-erase
/usr/local/bin/pylint -f parseable py_jenkins / | tee pylint.out
/usr/bin/sloccount --duplicates --details py_jenkins  > sloccount.sc
注意Execute Shell的命令的执行路径需要写绝对路径或在Jenkins中为该命令设置环境变量。pylint
不能用虚拟环境的pylint，否则可能报错。对于路径问题，可以通过which virtualenv来找到virtuale
nv在持续集成服务器具体的路径，然后在Jenkins设置环境变量，设置路径是Jenkins主页=>系统
管理=>系统设置=>全局属性，然后点击增加，如下图
[attach]111907[/attach]
为命令设置全局环境变量
最后增加构建后操作。--with-xunit选项会生成nosetests.xml文件，--with-xcoverage选项会生成
coverage.xml文件。这里我们选择Publish JUnit test result report和Publish Cobertura Coverage
Report，前者会生成本次构建的结果，后者会显示代码测试覆盖率。
[attach]111908[/attach]
构建项目步骤7
pylint生成的语法检查报告pylint.out需要配合Violations plugin插件使用，然后在构建后操作中勾
选Report Violations，找到pylint的配置并填写"**/pylint.out"，如下图：
[attach]111909[/attach]
构建项目步骤8
最后点击“保存”。

之后，我们回到首页，在新建的构建名中，点击“立即构建”，如下图
[attach]111910[/attach]
立即构建项目
然后，左下方会出现如下所示进度条
[attach]111911[/attach]
正在构建测试
如果构建步骤比较类似，可以在新建构建项目的时候，可以以已有构建流程为模版新建构建，
如下图所示
[attach]111912[/attach]
以已有构建流程为模版新建构建
构建结果如下
[attach]111913[/attach]
构建结果
我们可以点击“太阳”或者“乌云”图标，进入查看构建的详细信息。其中我们重点关注的是C
onsole Output、Coverage Report、Violations和Test Result这几项
[attach]111914[/attach]
具体构建信息
再说说私有项目的持续集成。还是以github为例进行讲解。账号和密码的方式，我始终未试
验成功，这里我采用的是ssh的方式。先做准备工作：在Jenkins服务器上使用

ssh-keygen -t rsa -C "xx@email.com"
来生成公私钥，在输入该命令的时候，需要输入公私钥的位置，如下

Enter file in which to save the key (/root/.ssh/id_rsa): /root/.ssh/id_rsa
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
这里在输入密码的时候，我直接回车，即空密码。然后，我们使用cat ~/.ssh/id_rsa.pub查看
生成的公钥，如下

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5s2HOPlRuEmR8GsAJECFkipgeuuww7qtK6UaURPzCUsX
wp9BZ73spNG7fxgu5fj4mkPRsnfWBvKS+0UrEjznNLFQ39/v0TlPohPRcj6a8F4aWx5m7i4PAC
VmOPLWLjmE8neUDioetw1zWFkPexLprQiQnIKeN3EIa0CVx2+74fJVXYhc+Txk6phsu4Q3kZ
wUpvnkzQPCysx2c8iKESgkzvr12qWDM10ytZ9X6UaIakzJF00tUSvETEHWbEs8OTv8jbHDtiU
64gyZkEyW/vjID/+997JbQa3EvoEJgtziRCjloGy40VQbJ77uI0m/3URv2ar7EiKSV8mJIKrIjSIIt
w== 1796246076@qq.com
我们需要把上述内容复制到Github上，操作是"点击个人头像=>Settings=>SSH and GPG key
s=>New ssh key"，再把上述内容粘贴进去。

之后，可以通过在持续集成服务器上使用

ssh -T git@github.com
确认公私钥匹配是否成功，比如我的

Hi ResolveWang! You've successfully authenticated, but GitHub does not provide shell access.
表示可以通过ssh连到github。

这一步完成之后，我们再通过Jenkins主页=>Credentials=>System=>Global credentials=>add
credentials来进行添加刚生成的私钥(通过cat ~/.ssh/id_rsa查看)和Github登录用户名，示意图如下
[attach]111915[/attach]
添加ssh私钥示意图
然后，在构建项目的时候，注意不能填写项目的https地址了，需要填它的ssh地址，并且选择
前面我们保存的证书，如下所示
[attach]111916[/attach]
拷贝github的repo的ssh地址
与构建公有项目持续集成的区别
[attach]111917[/attach]
再说说项目变更如何触发Jenkins的构建。这个可以采用webhook的方式，比如各个git服务器的
插件，我用的gogs，那么需要安装gogs plugin，然后在gogs的对应项目的webhook中添加一个钩子

http://222.105.43.151:8080/gogs-webhook/?job=gogsjenkins
在构建的时候Poll SCM留空，如图
[attach]111918[/attach]
通过webhook触发
这样会在每次push的时候触发构建。

最后说说怎么在Github、Gogs或者Gitlab等页面端如何查看每次的自动化测试结果。

我们可以安装一个名为Embeddable Build Status的插件，安装之后重启Jenkins，再进行项目构建，
构建结果可以查看Embeddable Build Status,如下图
[attach]111919[/attach]
构建状态
这里我们把省略具体构建序号，即

http://222.105.43.151:8080/job/pj/badge/icon
那么默认就是最新一次构建的状态，我们可以在项目的readme中展示出来。当然，除了这种方式
之外，还可以在构建后设置，如果构建失败，那么就发邮件通知相关人员。

文章最后部分补充一下Jenkins的重要配置。

通过yum安装Jenkins，那么Jenkins的安装目录为cd /var/lib/jenkins/
Jenkins配置文件位置为/etc/sysconfig/jenkins，比如我们可以在这个文件修改Jenkins web server的
默认监听端口和地址。除此之外，还有两个参数很重要：JENKINS_HOME、JENKINS_USER。JENK
INS_HOME是Jenkins的主目录，Jenkins工作的目录都放在这里,Jenkins储存文件的地址,Jenkins的插
件，生成的文件都在这个目录下，JENKINS_USER 是Jenkins的用户，拥有$JENKINS_HOME和/var/
log/jenkins的权限。
还有一点，如果我们修改了JENKINS_HOME所在目录，那么一定要设置JENKINS_HOME的权限为jen
kins用户可以读写，或把所有者换成jenkins用户，否则持续集成的时候可能会报权限错误。

作者: 梦想家 时间: 2018-3-14 13:50

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)