如何挑选白盒测试工具

sean_yin · 发表于 2007-11-15 22:27:00

白盒测试目前主要用在具有高可靠性要求的软件领域，例如：军工软件、航天航空软件、工业控制软件等等。白盒测试工具在选购时应当主要是对开发语言的支持、代码覆盖的深度、嵌入式软件的测试、测试的可视化等。

对开发语言的支持：白盒测试工具是对源代码进行的测试，测试的主要内容包括词法分析与语法分析、静态错误分析、动态检测等。但是对于不同的开发语言，测试工具实现的方式和内容差别是较大的。目前测试工具主要支持的开发语言包括：标准C、C＋＋、Visual C＋＋、Java、Visual J＋+等。

代码的覆盖深度：从覆盖源程序语句的详尽程度分析，逻辑覆盖标准包括以下不同的覆盖标准：语句覆盖、判定覆盖、条件覆盖、条件判定组合覆盖、多条件覆盖和修正判定条件覆盖。

·语句覆盖为了暴露程序中的错误，程序中的每条语句至少应该执行一次。因此语句覆盖（Statement Coverage）的含义是：选择足够多的测试数据，使被测程序中每条语句至少执行一次。语句覆盖是很弱的逻辑覆盖。

·判定覆盖比语句覆盖稍强的覆盖标准是判定覆盖（Decision Coverage）。判定覆盖的含义是：设计足够的测试用例，使得程序中的每个判定至少都获得一次“真值”或“假值”，或者说使得程序中的每一个取“真”分支和取“假”分支至少经历一次，因此判定覆盖又称为分支覆盖。

·条件覆盖在设计程序中，一个判定语句是由多个条件组合而成的复合判定。为了更彻底地实现逻辑覆盖，可以采用条件覆盖（Condition Coverage）的标准。条件覆盖的含义是：构造一组测试用例，使得每一判定语句中每个逻辑条件的可能值至少满足一次。

·多条件覆盖多条件覆盖也称条件组合覆盖，它的含义是：设计足够的测试用例，使得每个判定中条件的各种可能组合都至少出现一次。显然满足多条件覆盖的测试用例是一定满足判定覆盖、条件覆盖和条件判定组合覆盖的。

·修正条件判定覆盖修正条件判定覆盖是由欧美的航空/航天制造厂商和使用单位联合制定的“航空运输和装备系统软件认证标准”，目前在国外的国防、航空航天领域应用广泛。这个覆盖度量需要足够的测试用例来确定各个条件能够影响到包含的判定的结果。它要求满足两个条件：首先，每一个程序模块的入口和出口点都要考虑至少要被调用一次，每个程序的判定到所有可能的结果值要至少转换一次；其次，程序的判定被分解为通过逻辑操作符（and、or）连接的布尔条件，每个条件对于判定的结果值是独立的。

不同的测试工具对于代码的覆盖能力也是不同的，通常能够支持修正条件判定覆盖的测试工具价格是极其昂贵的。

嵌入式软件的测试：对于嵌入式软件的测试，我们还需要一方面进一步考虑测试工具对于嵌入式操作系统的支持能力，例如DOS、Vxworks、Neculeus、Linux和Windows CE等；另一方面还需要考虑测试工具对于硬件平台的支持能力，包括是否支持所有64/32/16位CPU 和 MCU，是否可以支持 PCI/VME/CPCI 总线。

测试的可视化：白盒测试是工作量巨大并且枯燥的工作，可视化的设计对于测试来说是十分重要的。在选购白盒测试工具时，应当考虑该款测试工具的可视化是否良好，例如：测试过程中是否可以显示覆盖率的函数分布图和上升趋势图，是否使用不同的颜色区分已执行和未执行的代码段显示分配内存情况实时图表等，这些对于测试效率和测试质量的提高是具有很大的作用的。（B6）

用户观点

为了更直接地了解IT测试的应用情况，记者在2005年IT测试技术研讨会的现场采访了9名与会人员，而他们对IT测试的看法可以分为三类。

第一类：有想法，要多了解信息

这种想法在很多中小企业中存在，他们已经意识到了IT测试的重要性，但是限于各种条件，现在还处于收集信息的阶段。部分用户代表希望有价格便宜的第三方测试机构来帮助自己进行测试。

北京青云航空仪表公司黄迪生

我们目前比较需要网络测试和软件测试的设备。但因为此前对测试技术和产品不太熟悉，目前更多地是想了解一下最新的技术和产品。我们希望厂商能有一些具体的演示和应用案例。

北京京能热点股份有限公司信息中心夏骥

在此前的IT项目中，我们还没有使用过专门的测试工具软件和设备。但我们对新的测试工具软件和设备比较感兴趣，目前我们正在做网络改造，所以想先了解一下这方面的产品和技术。

某小型软件企业创始人

公司目前的产品主要面向交通行业，例如公交系统的控制方面。公司自己成立了专门的软件测试部门，以对产品进行测试。目前，还没有把产品进行外包测试的想法。

北京图易得系统工程技术有限公司总经理叶涛

我们公司所开发的软件产品主要面向畜牧业、农业等行业的信息化建设。目前，由于应用到项目的程序并不是特别庞大，所以相应的软件产品的规模也有一定的限度，在这种情况下软件测试主要还是由自己进行。公司组建了专门的测试部以进行测试。

对于软件产品的测试，我们也非常重视，只不过由于规模问题，我们还没有达到更进一步的测试需求。

中国五矿化工进出口商会信息部副主任刘京娴

我们作为直接的产品使用者考虑，成本是一个很重要的因素。实际我们最近希望能够进行网络测试，因为我们现在常常遇到网络故障，但又找不到原因。如果以后有专业的第三方测试提供价格合理的测试项目，我们会考虑选用。

第二类：使用过工具，但是价格等因素限制了进一步使用

这类用户基本都是一些专业的IT公司，他们对测试工具有明显的渴求，但是现在的条件限制了应用。

中科辅龙计算机技术有限公司技术管理部经理林志丹

我们用过一些网络测试和软件测试的工具软件，有一些感觉。网络测试和软件测试都是工具软件，它们面临同样的问题，就是专业性强，用户少，而厂商为了盈利就不得不将价格定得较高；其次是这类软件大多比较难以上手，需要专门的培训，但这样的培训却往往不是免费的。例如Rational相信就不是人人都用得起，用得好。业界是否可以采用一些新思路，将这类工具软件采用服务或者租借的形式向用户提供呢？

长城软件系统集成公司许哲源

我们平时所做的测试基本上都是功能测试。20个人以下的可以从网上免费下载。

在开发成本可以承受的情况下，项目团队当然愿意选择性价比高的测试工具。

第三类：对测试非常了解，同时经常使用IT测试工具

这些用户每年都会投入一定的费用用于产品运维和新产品购买，他们对于IT测试的认识也是最为深入的。

点击科技产品测试部部长陶锋

让测试工具发挥作用的关键在于人，这里一个团队的领导至关重要，而项目中每个人的水平也决定了测试工具能否真正发挥作用。例如IBM的测试工具，要想使用起来，要求每个成员至少有两年的使用经验。这对人员专业技能的要求很高。在测试阶段发现错误可以让这个软件更加健壮。

选择第三方咨询机构，可以避免客户对开发方的测试报告产生质疑。从某种程度上讲，第三方咨询的介入保证了软件开发能够公正客观顺利地进行。理想的状态是测试贯穿整个项目开发过程。只有这样才能真正让测试成为提高软件质量的利器。

总之，工欲善其事，必先利其器。好的开发工具可以让软件开发事半功倍，好的测试工具可以起到同样的效果。

北京信息安全测评中心测试实验室主任助理刘海峰

我们作为第三方测试机构，主要提供信息安全方面的测试，平时主要使用的都是网络测试工具，软件测试接触不太多。我们每年都会有专门的费用用于工具的运维，同时也会购买一些需要的新产品。

我们单位2000年成立，主要面向北京市的党政机关服务，去年正式进入市场，在这几年明显能够感觉到市场在慢慢增长。同时由于政府的法律法规以及一些项目实施流程，让大家意识到测试的重要性，逐渐为测试拨出专项的费用。