51Testing软件测试论坛

标题: 移动端自动化测试系列之三——Allure测试报告 [打印本页]
作者: 巴黎的灯光下    时间: 2017-6-30 14:07
标题: 移动端自动化测试系列之三——Allure测试报告
前言
一个好的测试报告在整个测试框架起到至关重要的部分.最早之前使用Java写 Appium 框架的时候是用extentreports 做为测试报告的框架.

但是 extentreports 没有 python 版本.于是在网上搜寻了好久,发现很多人提到了 HTMLTestRunner 这个框架.自己试用了一下,发现生成的测试报告实在是太丑了.而且对 python3 的支持也不是很好.最终发现一个超好用的报告框架,不仅报告美观,而且方便CI集成.

那就是 Allure Test Report

我们来看一下最后的报告图:


是不是很赞? 这里有个网页demo,可以去试一试效果:

Demo

现在就让我们使用这个强大框架来生成测试报告吧.本教程基于测试框架 pytest,如果对于这个框架不太熟悉的可以参考之前写的一篇博客

移动端自动化测试系列之二——pytest入门详解

Allure 使用
安装 adapter
如果要在 pytest 中使用 Allure,需要使用一个 Adaptor

Allure Pytest Adaptor

安装 pytest-allure-adaptor
  1. pip3 install pytest-allure-adaptor
复制代码
生成报告
还是基于我们上一篇讲解 pytest 所写的代码

现在我们需要做的只是一行命令!在执行原先的命令之后加一句配置即可
  1. pytest -s -q --alluredir report
  2. 或者
  3. pytest -s -q --alluredir [path_to_report_dir]   
复制代码
这时候你就会发现用例执行完成之后会在当前目录下生成了一个report文件

打开xml会发现一堆乱七八糟的东西.坑爹呢.说好的报告美观呢?(掀桌

这个文件夹的东西很重要,最终生成好看的报告就是靠他们.但再生成之前需要先装一个生成工具.

生成好看的报告
生成工具有很多种,相关文档可以参考下面

Generating a report

它支持 gradle Plugin ,Jenkins Plugin等等.这里我们简单的使用 Command 的方式生成报告.

安装 Command Tool
  1. brew tap qatools/formulas
  2. brew install allure-commandline
复制代码
生成 Report

  2. allure generate directory-with-results/ -o directory-with-report
  3. 这里我们的命令是
  4. allure generate report/ -o report/html
复制代码
最终报告会生成在 report/html 目录下


打开 index.html,之前写的 case 报告就会呈现在你面前.

注: 如果打开一直在转圈圈,可以换个浏览器打开.

这里有个弊端,每次xml报告生成完了,都要调用命令转成html,后续的博客会使用一个shell命令来自动生成这个报告.当然如果要集成CI可以使用 Jenkins Plugin

定制报告Steps
为了让生成的报告可读性更高,可以用一些 Api 来实现,比如下面我们将原先的 case 稍作改造
  1. # content of test_sample.py
  2. import allure
  3. class TestSample:
  4.     def test_login(self):
  5.         allure.attach('描述', '这是一个注册登录的case')
  6.         self.register()
  7.         result = self.login('mio4kon')
  8.         assert result
  9.     @allure.step(title="登录账号:{1}")
  10.     def login(self, account):
  11.         return True
  12.     @allure.step(title="注册")
  13.     def register(self):
  14.         pass
复制代码
上面是一个模拟注册然后操作的case,我们通过 @allure.step 和 allure.attach 可以让生成的报告更直观一点.

其中
  1. @allure.step(title="登录账号:{1}")
  2. def login(self, account):
复制代码

{1}会填充为该注释下的方法的第二个参数值,第一个参数为{0}

让我们看看报告吧:点击 xUnit->对应的Test suites

点击描述

这样每一个case具体做了什么就会非常直观.分析报告也更加容易.

severity

可以为每个测试方法或者类都添加一个severity(严重等级),这么做的好处在于

测试完成后告诉开发,等级严重的bug优先修复.
执行测试用例可以只针对某一个或某几个等级执行,其他等级都跳过.
  1. @pytest.allure.severity(pytest.allure.severity_level.MINOR)
  2. def test_minor():
  3.     assert False
  4. @pytest.allure.severity(pytest.allure.severity_level.CRITICAL)
  5. class TestBar:
复制代码
如果希望只跑critical和blocker这两个等级的case

在原先命令上加上--allure_severities=critical,blocker参数
  1. py.test --alluredir report --allure_severities=critical,blocker -s -q
复制代码
有五类严重等级,可以点击测试报告的Graph查看,其中灰色的为跳过的 case

Features & Stories
使用Features和Stories的好处
  1. case分类清晰明了
  2. 与 severity一样,可以指定只执行某 Features/Stories 的 case

  4. @allure.feature('Feature1')
  5. @allure.story('Story1')
  6. def test_minor():
  7.     assert False
  8. @allure.feature('Feature2')
  9. @allure.story('Story2', 'Story3')
  10. @allure.story('Story4')
  11. class TestBar:
  12.     # will have 'Feature2 and Story2 and Story3 and Story4'
  13.     def test_bar(self):
  14.         pass
复制代码

只执行部分 feature/stories 的话,用下面命令
  1. py.test --alluredir report --allure_features=feature1,feature2 --allure_stories=story1,story2
复制代码
在测试报告的Behaviors中可以清晰的看到分类


Allure 的用法大致介绍完了,大部分示例都是来自 adapter 的 Gayhub,更多的内容请参考下面的链接.
作者: 玉米面的窝头    时间: 2018-1-11 19:40
赞赞赞



欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2