移动端自动化测试系列之三——Allure测试报告

巴黎的灯光下

前言
一个好的测试报告在整个测试框架起到至关重要的部分.最早之前使用Java写 Appium 框架的时候是用extentreports 做为测试报告的框架.

但是 extentreports 没有 python 版本.于是在网上搜寻了好久,发现很多人提到了 HTMLTestRunner 这个框架.自己试用了一下,发现生成的测试报告实在是太丑了.而且对 python3 的支持也不是很好.最终发现一个超好用的报告框架,不仅报告美观,而且方便CI集成.

那就是 Allure Test Report

我们来看一下最后的报告图:


是不是很赞? 这里有个网页demo,可以去试一试效果:

Demo

现在就让我们使用这个强大框架来生成测试报告吧.本教程基于测试框架 pytest,如果对于这个框架不太熟悉的可以参考之前写的一篇博客

移动端自动化测试系列之二——pytest入门详解

Allure 使用
安装 adapter
如果要在 pytest 中使用 Allure,需要使用一个 Adaptor

Allure Pytest Adaptor

安装 pytest-allure-adaptor

1. pip3 install pytest-allure-adaptor

复制代码

生成报告
还是基于我们上一篇讲解 pytest 所写的代码

现在我们需要做的只是一行命令!在执行原先的命令之后加一句配置即可

1. pytest -s -q --alluredir report
   
2. 或者
   
3. pytest -s -q --alluredir [path_to_report_dir]   

复制代码

这时候你就会发现用例执行完成之后会在当前目录下生成了一个report文件

打开xml会发现一堆乱七八糟的东西.坑爹呢.说好的报告美观呢?(掀桌

这个文件夹的东西很重要,最终生成好看的报告就是靠他们.但再生成之前需要先装一个生成工具.

生成好看的报告
生成工具有很多种,相关文档可以参考下面

Generating a report

它支持 gradle Plugin ,Jenkins Plugin等等.这里我们简单的使用 Command 的方式生成报告.

安装 Command Tool

1. brew tap qatools/formulas
   
2. brew install allure-commandline

复制代码

生成 Report

1. 
   
2. allure generate directory-with-results/ -o directory-with-report
   
3. 这里我们的命令是
   
4. allure generate report/ -o report/html

复制代码

最终报告会生成在 report/html 目录下


打开 index.html,之前写的 case 报告就会呈现在你面前.

注: 如果打开一直在转圈圈,可以换个浏览器打开.

这里有个弊端,每次xml报告生成完了,都要调用命令转成html,后续的博客会使用一个shell命令来自动生成这个报告.当然如果要集成CI可以使用 Jenkins Plugin

定制报告Steps
为了让生成的报告可读性更高,可以用一些 Api 来实现,比如下面我们将原先的 case 稍作改造

1. # content of test_sample.py
   
2. import allure
   
3. class TestSample:
   
4.     def test_login(self):
   
5.         allure.attach('描述', '这是一个注册登录的case')
   
6.         self.register()
   
7.         result = self.login('mio4kon')
   
8.         assert result
   
9.     @allure.step(title="登录账号:{1}")
   
10.     def login(self, account):
    
11.         return True
    
12.     @allure.step(title="注册")
    
13.     def register(self):
    
14.         pass

复制代码

上面是一个模拟注册然后操作的case,我们通过 @allure.step 和 allure.attach 可以让生成的报告更直观一点.

其中

1. @allure.step(title="登录账号:{1}")
   
2. def login(self, account):

复制代码

{1}会填充为该注释下的方法的第二个参数值,第一个参数为{0}

让我们看看报告吧:点击 xUnit->对应的Test suites

点击描述

这样每一个case具体做了什么就会非常直观.分析报告也更加容易.

severity

可以为每个测试方法或者类都添加一个severity(严重等级),这么做的好处在于

测试完成后告诉开发,等级严重的bug优先修复.
执行测试用例可以只针对某一个或某几个等级执行,其他等级都跳过.

1. @pytest.allure.severity(pytest.allure.severity_level.MINOR)
   
2. def test_minor():
   
3.     assert False
   
4. @pytest.allure.severity(pytest.allure.severity_level.CRITICAL)
   
5. class TestBar:

复制代码

如果希望只跑critical和blocker这两个等级的case

在原先命令上加上--allure_severities=critical,blocker参数

1. py.test --alluredir report --allure_severities=critical,blocker -s -q

复制代码

有五类严重等级,可以点击测试报告的Graph查看,其中灰色的为跳过的 case

Features & Stories
使用Features和Stories的好处

1. case分类清晰明了
   
2. 与 severity一样,可以指定只执行某 Features/Stories 的 case
   
3. 
   
4. @allure.feature('Feature1')
   
5. @allure.story('Story1')
   
6. def test_minor():
   
7.     assert False
   
8. @allure.feature('Feature2')
   
9. @allure.story('Story2', 'Story3')
   
10. @allure.story('Story4')
    
11. class TestBar:
    
12.     # will have 'Feature2 and Story2 and Story3 and Story4'
    
13.     def test_bar(self):
    
14.         pass

复制代码

只执行部分 feature/stories 的话,用下面命令

1. py.test --alluredir report --allure_features=feature1,feature2 --allure_stories=story1,story2

复制代码

在测试报告的Behaviors中可以清晰的看到分类


Allure 的用法大致介绍完了,大部分示例都是来自 adapter 的 Gayhub,更多的内容请参考下面的链接.

玉米面的窝头

赞赞赞