软件测试管理经验谈 (轉)

红莲

某甲问道：「测试做太多的话，会不会使得bug解不完？」

某乙回答：「还不简单。只要不做测试，就没有bug。」

上述对话，反应出许多软件工作人员对于测试的想法。对多数软件开发人员而言，测试大概是仅次于维护之外，最令人讨厌的工作。对软件研发主管来说，测试是必要之恶：做得不够后患无穷，做得过多又增加成本，延误商机。因此，如何能够规画与执行一个最经济有效的测试工作，当是软件研发主管们须研究的一个课题。

软件测试的困难，在于它不仅是产品的测试，更是产品设计程序的检验。由于关乎设计的测试，准则不易寻找，经验未必得以再用，他山之石也有应用的局限性，因此难度颇高。欲提高测试的效益，有赖全盘的规画，确实的执行，与事后的检讨改进动作。许多小型软件研发单位，对于软件测试并不重视，但从许多稍具规模的软件公司均配置常设测试人员，乃至于测试品保部门来看，测试工作显然有其学问与价值的。

测试工作没有最佳方法可依循，是因为不同的软件所需的测试手段不同。譬如小型软件与大型系统的做法不同；订制软件与软件包的要求不同；系统软件的测试往往无法采用应用软件所使用的技巧；游戏软件与库存系统有其各自需面对的测试标的。因此，测试人员必须因应软件的特性与资源的限制，加上过去相关的经验，规画最适合的测试方式。并随着经验的累积，不断改进作法，才能找出最佳的测试方法。

由此可知，要做好有效的测试，不只是埋头苦干而已，它需要良好的管理，使整件工作获致最佳的成果。关于测试的管理工作，可从组织、规画、执行与检讨几个角度来探讨。以下谨就笔者粗浅的经验野人献曝一番，希望提供读者基本的协助。

测试组织之设计

由于人性总自认为自己的最好最正确，完全由软件开发人员兼任测试人员，并不值得推荐。实务上往往因软件开发单位的经济规模不够，使得开发人员经常兼任测试人员。但若可行，研发单位应尽可能配置专任的测试人员，尤其是独立于开发小组之外的测试负责人员。尽管是否应设置独立测试小组业界仍有争议，许多人甚至以为保障软件品质唯有从改进软件开发的程序做起，但大部份美国的软件公司均设有独立测试或品保人员乃至于部门，这说明了独立测试仍有其不可摇撼的地位。

许多的软件研发单位将测试视为次等的工作，从而配置次等人员负责相关工作。如此一来，优秀人员无从参与，也缺乏意愿参与测试工作。结果软件品质不易度量，研发的成果常常被不佳的品质抵销，实为令软件开发人员泄气之事。主管是否能体认到软件测试的重要性，通常是成功的关键。软件测试固然是支持性工作，仍应配置合理的资源，以获取整体之成效。在当前的环境下，给予测试人员较多的关注，毋宁是必要的作法。

测试工作规画

测试工作的规画，至少包含两项要点：测试目标的订定与测试资源的配置。攻击需要目标，测试亦然。测试的目的在于找出软件的问题，提供改进之参考。目标若不明，测试人员即不知如何着手。

测试目标的订定，最重要的在于软件通过的准则，亦即测试何时方可结束。常见的情形是：软件开发的进度不断落后，最后剩余的时间仅有两个星期，于是测试人员的目标就是把最后两周用完，尽人事听天命。究竟测试多完整，隐藏的多少错误，测试工作的生产力如何？皆一概不知。反正产品卖出去或上线后有的是时间改进。然而产品销售后再改进，成本往往大幅增高，甚至原有开发人员离职他调，连亡羊补牢都倍感困难。经验一再显示，事前的测试除错绝对比事后维护省时省钱，唯有卖不出去或不能用的软件例外。

对于测试的要求可简单区分为二：一种是通过目标所订之软件品质；一种是在既定资源内达到最佳成效。前者要求山头一定要攻下，不达目的绝不停止。譬如目标为单位测试时间的错误发现率须低于某数字，若超过了就得延长测试。此种方式适用于品质要求较高的软件。至于后者则是上市时间已宣布，无法更改者，其目标着重于铲除最严重的错误。此种测试较着重测试的准备、经常对测试执行与除错设定时限与数量要求，其中最容易遵循的准则即为：重要功能永远先测。这两类测试的需求不同，足以影响到测试的计划、测试的顺序与关心的重点。读者不可不察。

至于测试资源配置适当性，则是评估测试目标能否达成的重要参考指标。测试人员需要合理的测试资源，譬如要求总研发人力的20%以上。总时程的1/3以上。人力不足，测试流于形式，时程过短，找到错误也来不及除错，均不可取。除了测试在研发的比重，也需注意测试工作本身在规画管理、规格个案订定、测试执行、回归测试、训练准备工作的人力分配。人员的训练与设备的安排尤其容易轻忽，需加以注意。不同阶段测试的资源配置，也必须加以考量，如此可避免测试集中于功能测试，忽略系统测试。这些工作的适切安排，有助于协助测试工作时时都执行最重要，也最有效的测试。

测试执行与管理

测试工作执行在管理上，首先需使测试与开发人员了解轻重缓急。测试人员常常不考虑测试的效果，而只依照测试的方便性来进行测试。譬如软件有十大模块，每一模块有50个测试个案，于是他从第一个模块的第一个个案开始测，测完一整个模块，再进行第二个模块的测试，执行全部完成或无法进行为止。事实上，测试应从重要且常用的项目测起。

开发人员的除错，则往往从好改的改起。于是100个错误改了90个，系统主要的缺陷仍为克服。测试管理人员需特别注意此事，确保测试工作的效率。

进行测试管理的好处在于随时可掌握状况，并因应需求及时调整测试策略。譬如测试一段时间后，发现某子系统的问题特别多，即可调整人力，增强该部份的测试。或是某些人的测试绩效较差，则可调整工作之分配，以求整体效果。当然，这些数据的取得有赖相关信息的搜集，包括数量与时间之信息。如果可行，可记录不同测试工作耗用的人力时数，计算耗用成本，以便未来进行测试规划时拥有更精确的参考数据。

进行相关资料的统计与分析，最好运用工具来帮忙，以节省人力并增进效果。如果市面已有的测试管理工具符合需求，也可径行采用。测试结果的统计资料，不妨公布在大家的眼前，使得测试成果可为大家了解，亦能促进工作同仁求取更佳的成绩。附图所显示为一简单的统计图表，显示每周的测试成果、除错成果，与产品残存的问题量，可协助主管决定测试终止及发行产品的时间。



测试结果分析与改进

当(阶段)测试结束后，测试管理人员可以进行测试成果的分析。有关预定目标与实际执行结果的差异，可作为下一版软件测试检讨改进的依据。譬如预定开立的测试个案数是否达成目标，执行与通过数是否可接受？投入的测试甚至除错人力是否足够？均可视状况计算依标准工作量，作为未来执行测试工作之预估标准。经由分析软件错误的生命周期，可以研究缩短的方法，例如加速除错与重测周期，或在分析设计阶段减少错误发生的机率，以缩短测试时程。

由测试结果可分析出不同测试的效益，与应改进之处。以下表为例。单元测试耗用大部份的人力，可能使整合与系统测试不完全。再以发现的错误数观之，整合测试发现一个错误的成本远低于另两项。由此可见在有限的人力时间下测试，单元测试做得太多，整合测试又太少。此意谓着对于单元测试所需耗用的人力资源过度乐观，或是在测试工作的配置不尽理想，应予改进。


　
                   测试人力时数   测试人力分布比率   错误个数   错误分布比率   平均时数/错误数
单元测试             227.104             58.6%         49             39.51%              4.635
整合测试             87.212              23.3%         54             43.55%              1.615
系统测试             70.184              18.1%         21             16.94%              3.342

合计                 384.5                100%        124             100%                       3.2



除了以上的测试成效分析。如行有余力时应再对错误发生的原因加以分析，力求从问题的根源加以解决。这包含测试工作的改进与开发工作的流程改进。以前者而言，可考虑对测试人员施以较充分的训练，避免测试工作因准备不周浪费宝贵的人力与时间。测试标准程序的建立，也有助于测试工作效率的提升。至于后者，可由错误发生的原因研究预防之道。例如对需求变更未确实记载，导致设计错误的问题发生，或是软件的设计未加充分的考虑再撰写程序，导致设计不良造成的大量错误，均应加以预防，如此可望从根本解决软件的问题。

结语

欲提升软件品质与生产力，得先掌握现况。测试工作既是必要之恶，就需拟定最好的方法来面对。有关软件测试方法论的书籍文章为数固然不少，在应用上仍须因应自身的情形加以调整。品管大师戴明认为：获得好品质不能靠检验，而是来自改善工作流程。因此，测试工作只是一项起步。如何藉由测试工作，了解改善软件品质与生产力之道，才是我们追求的目标。愿祝各位软件品质的捍卫者，在工作岗位顺利前进，为测试工作赢得荣耀，更为你们的成功产品喝采。

kkey

谢谢，真是一篇好文。希望能再多放些关于测试管理的文章。

TESTapple

看了一些高人的文章,我有一个感觉:测试就像是考前复习,可以边学边复习,也可最后总复习,测试管理就象是班主任的工作,要指导程度不同的学生复习难易不同的科目,不知比喻的恰不恰当.

嘘garfield

不过公司是应该按照实际情况来做一个标准,还是应该努力按照一个标准来进行?

goal0813

每个公司情况不同，标准也应该不一样的

goal0813

楼主的好文阅过，深表赞同：）

songfun

这篇文章很不错

goldfeng

写得很好！管用。不过用起来还是很有难度啊。

TestTip

好文章。特别是“测试结果分析与改进”，有指导意义。




－－－－－－－－－－－－－－
《我在微软做软件测试》在我的个人网站www.TestTip.com

flytigerboy

公司的测试要向一定要标准靠拢，尽量的做到标准化。

cherry8163

好长啊，嘿。。。。

whywhywhy

不错，不过好象一般公司都做不到这些呀：（

1122bj

好文章

learn

好文章!

不过公司是应该按照实际情况来做一个标准,还是应该努力按照一个标准来进行?


对于此种情况，发表一下我的看法：

1、首先要向一个标准进行靠拢。但标准是是通用的，每个公司都有自己的特点，他又不能完全符合标准。

2、在向标准靠拢过程中，要根据公司的具体情况，进行完善适合自己的这个“标准”

walker1020

好文章，顶一下！

toyfrog

好文章，顶一下！

xiongxing

顶．

taotao2635

写的很好, 收藏了,
感谢LZ

wuer

好文章，顶一下！

wuer

好文章，顶一下！