51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1069|回复: 1
打印 上一主题 下一主题

Android 增量代码测试覆盖率工具实践(二)

[复制链接]
  • TA的每日心情
    擦汗
    4 小时前
  • 签到天数: 1047 天

    连续签到: 5 天

    [LV.10]测试总司令

    跳转到指定楼层
    1#
    发表于 2022-3-15 10:06:22 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    插入代码关键在ClassInstrumenter.visitMethod,通过判断是否是差异方法来选择是否插入,达到只对差异方法插入代码的目的:
    1. ClassInstrumenter.class
    2.   @Override
    3.       public MethodVisitor visitMethod(final int access, final String name,
    4.                                        final String desc, final String signature,
    5.                                        final String[] exceptions) {
    6.           if (DiffAnalyzer.getInstance().containsMethod(className, name, desc)) {
    7.               InstrSupport.assertNotInstrumented(name, className);
    8.               final MethodVisitor mv = cv.visitMethod(access, name, desc, signature,
    9.                       exceptions);
    10.               if (mv == null) {
    11.                   return null;
    12.               }
    13.               final MethodVisitor frameEliminator = new DuplicateFrameEliminator(mv);
    14.               final ProbeInserter probeVariableInserter = new ProbeInserter(access,
    15.                       name, desc, frameEliminator, probeArrayStrategy);
    16.               return new MethodInstrumenter(probeVariableInserter,
    17.                       probeVariableInserter);
    18.           } else {
    19.               return super.visitMethod(access, name, desc, signature, exceptions);
    20.           }
    21.       }
    复制代码
    源码与插入探针后源码对比如下:

    至此,运行时 工作 transForm 完成。
      二、运行时
      其实jacoco是否覆盖原理,就是每个类都申请了一个boolean数组,然后每一行代码前都插入 array[x]=true,当代码执行,array[x] 也就为true,也就表明代码执行过。然后在页面关闭时,保存所有boolean 数组到本地成ec文件。下次打开app,把上一次的数据上传到服务器。因为这个工具只是用在开发测试阶段,所以服务器直接布在局域网即可。

    1.  CodeCoverageManager.class
    2.   写入数据到文件
    3.   private void writeToFile() {
    4.           if(filePath==null) return;
    5.           OutputStream out = null;
    6.           try {
    7.               out = new FileOutputStream(filePath, false);
    8.               IAgent agent = RT.getAgent();
    9.               out.write(agent.getExecutionData(false));
    10.               Log.i(TAG, " generateCoverageFile write success");
    11.           } catch (Exception e) {
    12.               e.printStackTrace();
    13.               Log.e(TAG, " generateCoverageFile Exception:" + e.toString());
    14.           } finally {
    15.               close(out);
    16.           }
    17.       }
    复制代码
     三、生成报告
      生成报告是主动触发的,在任何时候都可以生成报告,也可以在打正式包时自动调用生成报告任务。生成报告大致逻辑如下:
      1、从服务器上下载 此项目此版本 所有的ec 文件,也就是在运行时上传的那些数据文件。
      2、同编译时逻辑一样,获取差异方法集。
      3、最后调用jacoco 的生成报告方法,参数: ec文件夹,class 文件夹路径,源码路径,报告输出路径。即可生成一份html报告。
    1. File exec = new File("/Users/wzh/gitlab/Android-Jacoco/app/build/outputs/coverage");
    2.   List<File> sourceDirs = new ArrayList<>();
    3.   sourceDirs.add(new File("/Users/wzh/gitlab/Android-Jacoco/app/src/main/java"));
    4.   List<File> classDirs = new ArrayList<>();
    5.   classDirs.add(new File("/Users/wzh/gitlab/Android-Jacoco/app/classes"));
    6.   File reportDir = new File("/Users/wzh/gitlab/Android-Jacoco/app/build/report");
    7.   ReportGenerator generator = new ReportGenerator(exec.getAbsolutePath(), classDirs, sourceDirs, reportDir);
    8.   generator.create();
    复制代码
    在生成报告内部会对ec文件夹内的ec进行合并:
      因为多次运行会有多份boolean 数组,所以需要合并取或。如果某一个类,修改了源码,导致两个包代码不一样,会导致这个类的boolean数组合并失败,这时需要把老的类boolean数组丢弃掉。
    1. ExecutionDataStore.class
    2.   //合并数据,异常删除老数据
    3.   public void put(final ExecutionData data) throws IllegalStateException {
    4.   final Long id = Long.valueOf(data.getId());
    5.   final ExecutionData entry = entries.get(id);
    6.   if (entry == null) {
    7.   entries.put(id, data);
    8.   names.add(data.getName());
    9.   } else {
    10.   try{
    11.   entry.merge(data);
    12.   }catch (IllegalStateException e){
    13.   //e.printStackTrace();
    14.   if(entry.getSessionInfo()!=null && data.getSessionInfo()!=null){
    15.   if(entry.getSessionInfo().getDumpTimeStamp()<data.getSessionInfo().getDumpTimeStamp()){
    16.   System.out.println("old ec data ,remove "+entry);
    17.   entries.remove(id);
    18.   entries.put(id, data);
    19.   }
    20.   }
    21.   }
    22.   }
    23.   }
    复制代码
     最终报告是个html,打开输出报告如下:

    最外面可以看到整体的覆盖率,点进去可以查看某个类的覆盖率。

    ·绿色:表示行覆盖充分。
      · 红色:表示未覆盖的行。
      · 空白色:代表方法未修改,无需覆盖。
      · 黄色棱形:表示分支覆盖不全。
      · 绿色棱形:表示分支覆盖完全。
      四、总结
      本工具基于jacoco源码,做到了两个git分支 增量方法级的代码覆盖。当然,一些问题也是有的。既然是方法级,如果只改了方法的一行代码,那么整个方法,所有的分支都需要重新覆盖到。在编译时,会自动执行一些git 命令。例如强制切换分支(为了兼容jenkins 远程打包),这会导致工作区内容的丢失。还有开发流程,可能并不适用于你公司的开发流程。(在我公司项目中,在debug与release都是关闭的,只有beta包打开)当然,大家也是可以修改的,适配出自己公司流程的代码覆盖工具。
      代码覆盖只能保证这行代码执行了,不能保证其是否正确。可以用来避免一些开发可能修改了线上某个异常,未通知测试人员,测试人员不会去测相关功能。而测试结束了,覆盖率却很低,说明有部分代码修改过,却没有执行过,这是容易引起问题的。而最终的报告,只是一个告知开发的作用,需要由开发人员来判断这个覆盖率到底行不行,会不会引起问题?





    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

    x
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-15 13:46 , Processed in 0.060283 second(s), 24 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表