如何从测试环境着手提高测试覆盖率

lsekfe

　测试覆盖率在测试活动中是一个至关重要的指标，充分的测试覆盖率可以发现被测对象的各方面问题，是产品质量信心最重要的支撑数据。然而在实际的测试中，经常受困于测试环境的限制，很多测试人员可以考虑到的业务场景却难以在测试环境中进行模拟，没办法全面测试覆盖， 比如测试人员期望被测对象在某个时刻获得一个特定的错误信号或数据，但同被测对象交互的模块/系统在正常工作情况下产生不出这个特定的错误。由于测试环境的影响，测试活动很难从根本上提高测试覆盖率，不能有效降低产品在实际运营中的风险。
　　本文对被测对象的通用模型进行分析，找出测试环境受限的根本原因进，给出测试环境改进的一般性方法，并建议了一种在实际测试中可以高效改进测试环境提升测试覆盖率的解决方案。
　　一、被测对象模型分析
　　根据测试的产品不同，被测对象可能是一个物联网系统，可能是一个设备，可能是一个APP或者一个网站等； 根据测试的阶段不同，对象可能是一个软件模块，一块PCB板，一个复杂系统中的子系统或者整个系统。

　　不论被测对象的规模大小，复杂程度，组成结构，所有被测对象都可以通过接口同外部世界（人或物）进行交互，对被测对象的测试过程也就是通过被测对象的接口同被测对象进行交互并判断和记录被测对象的行为是否同预期相一致的过程。
　　二、被测对象的接口分析

　　一个被测对象通常有多个接口与外部或其他模块（子系统）进行交互，比如网络接口，用户界面，传感器接口，通信接口等，这些接口进一步又可以分为输入接口和输出接口（有的接口既做输入又做输出）。对被测对象的黑盒测试就是根据需求模拟各种场景下对各个输入接口创造各种情形下的输入并对各个输出接口检查检查各种情形下的输出是否满足要求。
　　三、测试环境受限原因分析
　　在日常的测试中经常遇到一些测试没条件没办法进行，深入分析原因，往往是因为测试环境的问题导致一些测试场景没办法模拟。

　　测试环境受限主要有下面几个原因：
　　1. 被测对象界限不清晰
　　在一个产品研发过程中，不同阶段的测试被测的对象不同，对模块或子系统的设计进行测试，被测对象就是该子系统或模块，而不是整个系统。如果对模块或子系统测试时使用的是整个系统的环境，即同该模块或子系统的接口进行交互仍然是系统的真实模块，则会因为真实模块不能产生所需要的各种信号/事件/消息/数据， 特别是各种异常的信号/事件/消息/数据，从而导致该模块的一些行为没有办法进行测试覆盖。
　　2. 被测对象的测试依赖于外部模块或系统
　　在一些环境中被测对象的测试验证依赖于系统中的其他模块或其他系统，这种依赖关系一方面导致测试不能充分覆盖，另一方面导致测试的执行结果的可靠性受影响，如果外面模块或系统有变更，测试用例可能会受到影响，并且同样的测试用例在使用不同版本的外部模块或系统进行执行，结果也可能不同。
　　3. 被测对象的外部模块或系统难以模拟
　　一些测试环境中使用的真实外部模块或系统，因为技术或项目时间和资源的原因，难以安排专门的技术人员来开发出相应的模拟模块或模拟系统。
　　四、如何进行更全面的测试

　　如果需要对被测对象（系统，子系统，模块等）进行更全面的测试，需要在测试环境中对该被测对象的接口进行全面测试工具覆盖，然后通过操作这些工具来模拟接口所需要的输入并检查接口所产生的输出：
　　· 根据被测对象的接口特征，开发出（或使用第三方软件）可以同接口交互的软件作为测试工具。
　　· 隔离被测对象和外部真实模块或系统，使用测试工具代替外部真实模块或系统，同被测对象的各个接口进行交互。
　　· 测试人员配置并操作这些测试工具来完成业务功能的测试。对于输入型接口，配置测试工具产生所需要的各种输入信息；对应输出性接口，通过测试工具来检查接口的输出是否同期望信息相一致。
　　· 测试人员需要根据测试用例的要求，协同控制这些测试工具，完成所有场景下的测试。
　　不同的测试对象，所需要的测试工具不相同，在实际实施过程中，可根据产品的测试要求，合理选择需要使用测试工具进行交互的接口，选择的依据是产品对测试的要求和项目原因投入的代价。对于一些产品质量要求严苛的系统，需要将全部的真实外部模块或系统通过测试工具进行替换，从而在测试环境层面做的对各种测试场景的支持，提高测试覆盖率，最大程度减少产品在真实运行过程中可能产生更严重的影响和代价。
　　五、自动化协同测试
　　如上一节中分析，对被测对象进行全面的测试覆盖需要从测试环境层面对被测对象的所有接口进行全面覆盖，然后进一步从测试用例层面进行测试场景的覆盖，需要投入大量的技术资源和时间，对绝大多数项目来说，由于项目时间和资源的限制，往往难以做到全面的覆盖测试，一些风险隐患遗留在产品中。
　　采用协同自动化测试技术可以有效解决这个问题，下面介绍一个协同自动化测试解决方案（AnTestin)，如下图所示：

　　AnTestin平台(www.antestin.com)提供的协同自动化测试解决方案可以很多程度降低全面自动化覆盖测试所需要的时间和技术成本：
　　1. 根据接口类型提供各种类型的接口覆盖测试工具(AntBot)，不需要产品项目自己开发和维护。
　　2. 提供支持协同自动化执行的测试用例，不需要测试人员手工协同操作这些接口覆盖工具(AntBot), 有效降低测试人员的执行时的工作强度，并大大缩短了测试的执行时间。
　　3. 提供快速设计自动化测试用例的功能，不需要测试人员编写自动化测试脚本，有效降低测试场景覆盖所需要的时间。
　　采用协同自动化测试技术，可以极大程度降低进行全面接口覆盖测试所需要的代价，通过建立全面的自动化测试环境，测试人员可以集中精力进行测试场景的设计，从而提高整个测试的覆盖率，为产品质量提供保障和信心支撑。