嵌入式软件测试策略

rendaoyuan · 发表于 2007-4-3 09:00:03

嵌入式软件测试策略

在嵌入式领域目标系统的应用系统日趋复杂，而由于竞争要求产品快速上市，开发技术日新月异，同时硬件发展的日益稳定，而软件故障却日益突出，软件的重要性逐渐引起人们的重视，越来越多的人认识到嵌入式系统的测试势在必行。提到嵌入式软件测试，首先要简单介绍一些软件工程的一些观点，现在，被普遍接受的软件的定义是：软件 (software) 是计算机系统中与硬件 (hardware) 相互依存的另一部分，它包括程序 (program) 、相关数据 (data) 及其说明文档 (document) 。其中程序是按照事先设计的功能和性能要求执行的指令序列；数据是是程序能正常操纵信息的数据结构；文档是与程序开发维护和使用有关的各种图文资料。
　　对于一般商用软件的测试，嵌入式软件测试有其自身的特点和测试困难。

　　由于嵌入式系统的自身特点，如实时性 (Real-timing) ，内存不丰富， I / O 通道少，开发工具昂贵，并且与硬件紧密相关 CPU 种类繁多，等等。嵌入式软件的开发和测试也就与一般商用软件的开发和测试策略有了很大的不同，可以说嵌入式软件是最难测试的一种软件。

　　嵌入式软件测试使用有效的测试策略是唯一的出路，它可以使开发的效率最大化，避免目标系统的瓶颈，使用在线仿真器节省昂贵的目标资源。自从出现高级语言，开发环境与最终运行环境通常都是存在差异的，嵌入式系统更是如此。开发环境被认为是主机平台，软件运行环境为目标平台。相应的测试为 host-target 测试或 cross-testing 。

　　讨论嵌入式软件测试首先就会遇到一个问题：为什么不把所有测试都放在目标上进行呢？因为若所有测试都放在目标平台上有很多不利的因素：

1 ）测试软件，可能会造成与开发者争夺时间的瓶颈，避免它只有提供更多的目标环境。

2 ）目标环境可能还不可行。

3 ）比起主机平台环境，目标环境通常是不精密的和不方便的。

4 ）提供给开发者的目标环境和联合开发环境通常是很昂贵的。

5 ）开发和测试工作可能会妨碍目标环境已存在持续的应用

从经济上和开发效率上考虑，软件开发周期中尽可能大的比例在主机系统环境中进行，其中包括测试。

  确定 host-target 测试环境后，开发测试人员又会遇到以下的问题：

1 ）多少开发人员会卷入测试工作（单元测试，软件集成，系统测试） ?

2 ）多少软件应该测试，测试会花费多长时间？

3 ）在主机环境和目标环境有哪些软件工具，价格怎样，适合怎样 ?

4 ）多少目标环境可以提供给开发者，什么时候 ?

5 ）主机和目标机之间的连接怎样？

6 ）被测软件下载到目标机有多快 ?

7 ）使用主机与目标环境之间有什么限制（如软件安全标准） ?

任何人或组织进行嵌入式软件的测试都应深入考虑以上问题，结合自身实际情况，选定合理测试策略和方案。

  对于嵌入式软件测试或叫交叉测试（ cross-test ），在测试的各个阶段有着通用的策略：

1 ．单元测试：

所有单元级测试都可以在主机环境上进行，除非少数情况，特别具体指定了单元测试直接在目标环境进行。最大化在主机环境进行软件测试的比例，通过尽可能小的目标单元访问所有目标指定的界面。

在主机平台上运行测试速度比在目标平台上快的多，当在主机平台完成测试，可以在目标环境上重复作一简单的确认测试，确认测试结果在主机和目标机上没有被他们的不同影响。在目标环境上进行确认测试将确定一些未知的，未预料到的，未说明的主机与目标机的不同。例如，目标编译器可能有 bug ，但在主机编译器上没有。

2 ．集成测试：

软件集成也可在主机环境上完成，在主机平台上模拟目标环境运行，当然在目标环境上重复测试也是必须的，在此级别上的确认测试将确定一些环境上的问题，比如内存定位和分配上的一些错误。

在主机环境上的集成测试的使用，依赖于目标系统的具体功能有多少。有些嵌入式系统与目标环境耦合的非常紧密，若在主机环境做集成是不切实际的。一个大型软件的开发可以分几个级别的集成。低级别的软件集成在主机平台上完成有很大优势，越往后的集成越依赖于目标环境。

3 ．系统测试和确认测试

所有的系统测试和确认测试必须在目标环境下执行。当然在主机上开发和执行系统测试，然后移植到目标环境重复执行是很方便的。对目标系统的依赖性会妨碍将主机环境上的系统测试移植到目标系统上，况且只有少数开发者会卷入系统测试，所以有时放弃在主机环境上执行系统测试可能更方便。

确认测试最终的实施舞台必须在目标环境中，系统的确认必须在真实系统之下测试，而不能在主机环境下模拟。这关系到嵌入式软件的最终使用。

包括恢复测试、安全测试、强度测试、性能测试，已超出了软件测试的范畴，本文暂不讨论。

使用有效的 cross-test 测试策略可极大的提高嵌入式软件开发测试的水平和效率，当然正确的测试工具使用也是必不可少的：

  总结一下，应用以上测试工具进行 .Cross-test 时的策略：

A)    使用测试工具的插装功能（主机环境）执行静态测试分析，并且为动态覆盖测试准备好一插装好的软件代码。

B)    使用源码在主机环境执行功能测试，修正软件的错误和测试脚本中的错误。

C)    使用插装后的软件代码执行覆盖率测试，添加测试用例或修正软件的错误，保证达到所要求的覆盖率目标。

D)    在目标环境下重复（ B ），确认软件在目标环境中执行测试的正确性。

E)    若测试需要达到极端的完整性，最好在目标系统上重复（ C ），确定软件的覆盖率没有改变。

  通常在主机环境执行多数的测试，只是在最终确定测试结果和最后的系统测试才移植到目标环境，这样可以避免发生访问目标系统资源上的瓶颈，也可以减少在昂贵资源如在线仿真器上的费用。另外，若目标系统的硬件由于某种原因而不能使用时，最后的确认测试可以推迟直到目标硬件可用，这为嵌入式软件的开发测试提供了弹性。设计软件的可移植性是成功进行 cross-test 的先决条件，它通常可以提高软件的质量，并且度软件的维护大有益处。以上所提到的测试工具，都可以通过各自的方式提供测试在主机与目标之间的移植，从而使嵌入式软件的测试得以方便的执行。

使用有效的 cross-test 测试策略可极大的提高嵌入式软件开发测试的水平和效率，提高嵌入式软件的质量。
北京地区对软件测试感兴趣的朋友可以和我交流：qq:306513768
我的博客：http://www.51testing.com/?uid/110105

[ 本帖最后由 rendaoyuan 于 2007-6-13 16:03 编辑 ]