51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 2182|回复: 1

使用Jenkins进行Python项目的持续集成

[复制链接]
  • TA的每日心情
    奋斗
    2021-8-16 14:04
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    发表于 2018-3-13 16:51:38 | 显示全部楼层 |阅读模式
    持续集成(CI)对于软件工程来说非常重要,它的意义在于产品快速迭代的同时,还能够让代码保
    持高质量,所以编写高质量的单元测试代码也显得十分重要。Travis可以免费做开源软件的持续集
    成,但是对于闭源软件来说,它的费用非常高昂。另外一款持续集成软件叫Jenkins,它是Java实现
    的一款开源持续集成工具,对于Java程序的持续集成支持特别好,网上也有很多这方面的文章。本
    文主要讲述怎么运用它来做Python 项目的持续集成。

    这里假设大家都比较熟悉Git开发流程了。这里所讲的工作流是Git+Jenkins。首先,我们在持续集
    成服务器上安装JDK1.8、Git和Python3(非Python项目无需安装),并且把Python3设置为默认
    Python解释器。由于篇幅限制,这里就不展开讲了。然后我们通过pip3 install virtualenv安装虚
    拟环境,安装虚拟环境的目的是,在进行持续集成测试的时候,各个项目构建使用不同的虚拟环
    境,因为项目不同可能相同依赖的版本会有冲突。

    然后,在Jenkins官网上下载Jenkins并将其安装到持续集成服务器上。可以直接下载.war文件,通
    过java -jar jenkins.war启动。我用的是CentOS,直接使用它自带的包管理器yum安装。首先,需
    要添加jenkins源,可以在官网相关页面查看

    sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
    sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
    然后便可以使用yum install jenkins安装了。安装完成后,我们通过

    sudo service jenkins start
    启动jenkins,如果启动失败,按照错误提示进行修改,比如我这里是

    [root@weibo1 ~]# service jenkins start
    Starting Jenkins bash: /usr/bin/java: No such file or directory
    [FAILED]
    那么可以先使用which java查看java所在路径,我这里是/usr/jdk1.8.0_131/bin/java,再通过

    ln -s /usr/jdk1.8.0_131/bin/java /usr/bin/java
    建立软连接,再通过service jenkins start就不会报错了。这个时候输入http://your_jenkins_ip:
    8080/便可以进入jenkins初始化页面,如下图

    Jenkins初始化页面
    图中提示了密码所在文件,通过

    cat /var/lib/jenkins/secrets/initialAdminPassword
    可查询到密码,将其填入密码框即可。

    之后,Jenkins会提示我们安装插件,我们选择自定义安装。除了它默认勾选安装的插件之外,
    我们还需要安装Cobertura Plugin、JUnit Plugin,前者是和代码覆盖率相关的插件,后者是单
    元测试相关插件,其他暂时不用安装,然后我们点击install进行安装。在安装进度条走完之后,
    Jenkins会让我们填入登录用户的用户名和密码,提示如下图

    填入登录用户的用户名和密码等信息
    填入之后,我们便可以使用刚才创建的用户登入系统了。除了在这个时候可以创建用户,还
    可以使用超级管理员账号(账号为admin,密码可以通过cat /var/lib/jenkins/secrets/initialAdm
    inPassword查看)来创建普通用户,操作路径是Jenkins主页=>系统管理=>管理用户=>新建
    用户。还可以通过让用户自行注册的方式来添加用户,不过这个功能默认是关闭的,需要通
    过Jenkins主页=>系统管理=>Configure Global Security=>勾选允许用户注册来开启该功能,
    这个时候所有用户都具有读写权限,如果Jenkins暴露在公网,会很不安全。我们需要为不同
    用户设置不同权限,目前Jenkins支持5种访问控制策略,我们通过Jenkins主页=>系统管理=
    >Configure Global Security=>授权策略选择其中的一种,它们的区别,由于篇幅有限,就不
    赘述了,推荐选择安全矩阵策略,在添加用户/组添加需要进行访问控制的用户和用户组。如
    下是我的设置:

    Jenkins访问控制策略
    如果我们想进行Python程序的持续集成,还可能需要安装Python Plugin(很奇怪的是,我在
    CentOS服务器上不安装它也可以进行持续集成,而在我的MacBook上不安装却无法进行Pyth
    on项目持续集成,所以为了保险起见,还是安装吧),它的安装路径是Jenkins 主页=>系统
    管理=>插件管理=>可选插件=>Python Plugin。除此之外,这个时候还可以安装Violations p
    lugin,它的作用是分析代码行数。该插件依赖sloccount,因此我们这时候可以通过yum inst
    all sloccount安装。安装完成后,勾选空闲时重启Jenkins。重启之后,我们便可以进行项目
    构建和持续集成测试了。

    首先讲公开项目的持续集成。公开项目的持续集成,操作比较简单。我们首先通过下面的目
    录结构创建一个Python程序

    py_jenkins/
        readme.md
        .gitignore
        tests/
            __init__.py
            auth_tests.py
        py_jenkins/
            __init__.py
            auth.py
    该程序放在github上,引用的这篇博客的代码,我改成了Python3的语法。

    进入正题,我们点击新建开始创建项目,这里我命名为py_jenkins,选择“构建一个自由风格
    的软件项目”,如下图

    构建项目步骤1
    然后点击"OK",进入另一个页面,如下图

    构建项目步骤2
    接下来是源码管理,我们只需要输入需要构建的项目的git地址,这里是

    https://github.com/ResolveWang/py_jenkins.git
    注意,如果持续集成服务器上没安装Git客户端,那么这一步会报错。接下来是构建触发器,
    如下图

    构建项目步骤4
    这里H/3 * * * *表示每三分钟,Jenkins就会去检查一下Git服务器代码是否有变化,有的话就
    会触发构建操作。

    接下来是构建环境,如下图:

    构建项目步骤5
    再是构建的时候的具体操作,这里选择Execute shell,如果你还有别的需求,可选择适当进行
    增加选项,如下图

    构建项目步骤6
    我们再填入构建的脚本,内容如下

    /usr/local/bin/virtualenv env
    . env/bin/activate
    pip install --quiet nosexcover
    pip install --quiet mock
    nosetests --with-xcoverage --with-xunit --cover-package=py_jenkins --cover-erase
    /usr/local/bin/pylint -f parseable py_jenkins / | tee pylint.out
    /usr/bin/sloccount --duplicates --details py_jenkins  > sloccount.sc
    注意Execute Shell的命令的执行路径需要写绝对路径或在Jenkins中为该命令设置环境变量。pylint
    不能用虚拟环境的pylint,否则可能报错。对于路径问题,可以通过which virtualenv来找到virtuale
    nv在持续集成服务器具体的路径,然后在Jenkins设置环境变量,设置路径是Jenkins主页=>系统
    管理=>系统设置=>全局属性,然后点击增加,如下图

    为命令设置全局环境变量
    最后增加构建后操作。--with-xunit选项会生成nosetests.xml文件,--with-xcoverage选项会生成
    coverage.xml文件。这里我们选择Publish JUnit test result report和Publish Cobertura Coverage
    Report,前者会生成本次构建的结果,后者会显示代码测试覆盖率。

    构建项目步骤7
    pylint生成的语法检查报告pylint.out需要配合Violations plugin插件使用,然后在构建后操作中勾
    选Report Violations,找到pylint的配置并填写"**/pylint.out",如下图:

    构建项目步骤8
    最后点击“保存”。

    之后,我们回到首页,在新建的构建名中,点击“立即构建”,如下图

    立即构建项目
    然后,左下方会出现如下所示进度条

    正在构建测试
    如果构建步骤比较类似,可以在新建构建项目的时候,可以以已有构建流程为模版新建构建,
    如下图所示

    以已有构建流程为模版新建构建
    构建结果如下

    构建结果
    我们可以点击“太阳”或者“乌云”图标,进入查看构建的详细信息。其中我们重点关注的是C
    onsole Output、Coverage Report、Violations和Test Result这几项

    具体构建信息
    再说说私有项目的持续集成。还是以github为例进行讲解。账号和密码的方式,我始终未试
    验成功,这里我采用的是ssh的方式。先做准备工作:在Jenkins服务器上使用

    ssh-keygen -t rsa -C "xx@email.com"
    来生成公私钥,在输入该命令的时候,需要输入公私钥的位置,如下

    Enter file in which to save the key (/root/.ssh/id_rsa): /root/.ssh/id_rsa
    Enter passphrase (empty for no passphrase):
    Enter same passphrase again:
    这里在输入密码的时候,我直接回车,即空密码。然后,我们使用cat ~/.ssh/id_rsa.pub查看
    生成的公钥,如下

    ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5s2HOPlRuEmR8GsAJECFkipgeuuww7qtK6UaURPzCUsX
    wp9BZ73spNG7fxgu5fj4mkPRsnfWBvKS+0UrEjznNLFQ39/v0TlPohPRcj6a8F4aWx5m7i4PAC
    VmOPLWLjmE8neUDioetw1zWFkPexLprQiQnIKeN3EIa0CVx2+74fJVXYhc+Txk6phsu4Q3kZ
    wUpvnkzQPCysx2c8iKESgkzvr12qWDM10ytZ9X6UaIakzJF00tUSvETEHWbEs8OTv8jbHDtiU
    64gyZkEyW/vjID/+997JbQa3EvoEJgtziRCjloGy40VQbJ77uI0m/3URv2ar7EiKSV8mJIKrIjSIIt
    w== 1796246076@qq.com
    我们需要把上述内容复制到Github上,操作是"点击个人头像=>Settings=>SSH and GPG key
    s=>New ssh key",再把上述内容粘贴进去。

    之后,可以通过在持续集成服务器上使用

    ssh -T git@github.com
    确认公私钥匹配是否成功,比如我的

    Hi ResolveWang! You've successfully authenticated, but GitHub does not provide shell access.
    表示可以通过ssh连到github。

    这一步完成之后,我们再通过Jenkins主页=>Credentials=>System=>Global credentials=>add
    credentials来进行添加刚生成的私钥(通过cat ~/.ssh/id_rsa查看)和Github登录用户名,示意图如下

    添加ssh私钥示意图
    然后,在构建项目的时候,注意不能填写项目的https地址了,需要填它的ssh地址,并且选择
    前面我们保存的证书,如下所示

    拷贝github的repo的ssh地址
    与构建公有项目持续集成的区别

    再说说项目变更如何触发Jenkins的构建。这个可以采用webhook的方式,比如各个git服务器的
    插件,我用的gogs,那么需要安装gogs plugin,然后在gogs的对应项目的webhook中添加一个钩子

    http://222.105.43.151:8080/gogs-webhook/?job=gogsjenkins
    在构建的时候Poll SCM留空,如图

    通过webhook触发
    这样会在每次push的时候触发构建。

    最后说说怎么在Github、Gogs或者Gitlab等页面端如何查看每次的自动化测试结果。

    我们可以安装一个名为Embeddable Build Status的插件,安装之后重启Jenkins,再进行项目构建,
    构建结果可以查看Embeddable Build Status,如下图

    构建状态
    这里我们把省略具体构建序号,即

    http://222.105.43.151:8080/job/pj/badge/icon
    那么默认就是最新一次构建的状态,我们可以在项目的readme中展示出来。当然,除了这种方式
    之外,还可以在构建后设置,如果构建失败,那么就发邮件通知相关人员。

    文章最后部分补充一下Jenkins的重要配置。

    通过yum安装Jenkins,那么Jenkins的安装目录为cd /var/lib/jenkins/
    Jenkins配置文件位置为/etc/sysconfig/jenkins,比如我们可以在这个文件修改Jenkins web server的
    默认监听端口和地址。除此之外,还有两个参数很重要:JENKINS_HOME、JENKINS_USER。JENK
    INS_HOME是Jenkins的主目录,Jenkins工作的目录都放在这里,Jenkins储存文件的地址,Jenkins的插
    件,生成的文件都在这个目录下,JENKINS_USER 是Jenkins的用户,拥有$JENKINS_HOME和/var/
    log/jenkins的权限。
    还有一点,如果我们修改了JENKINS_HOME所在目录,那么一定要设置JENKINS_HOME的权限为jen
    kins用户可以读写,或把所有者换成jenkins用户,否则持续集成的时候可能会报权限错误。


    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

    x
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-3-28 22:49 , Processed in 0.064238 second(s), 24 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表