红莲 发表于 2005-3-22 10:27:35

软件测试管理经验谈 (轉)

某甲问道:「测试做太多的话,会不会使得bug解不完?」

某乙回答:「还不简单。只要不做测试,就没有bug。」

上述对话,反应出许多软件工作人员对于测试的想法。对多数软件开发人员而言,测试大概是仅次于维护之外,最令人讨厌的工作。对软件研发主管来说,测试是必要之恶:做得不够后患无穷,做得过多又增加成本,延误商机。因此,如何能够规画与执行一个最经济有效的测试工作,当是软件研发主管们须研究的一个课题。

软件测试的困难,在于它不仅是产品的测试,更是产品设计程序的检验。由于关乎设计的测试,准则不易寻找,经验未必得以再用,他山之石也有应用的局限性,因此难度颇高。欲提高测试的效益,有赖全盘的规画,确实的执行,与事后的检讨改进动作。许多小型软件研发单位,对于软件测试并不重视,但从许多稍具规模的软件公司均配置常设测试人员,乃至于测试品保部门来看,测试工作显然有其学问与价值的。

测试工作没有最佳方法可依循,是因为不同的软件所需的测试手段不同。譬如小型软件与大型系统的做法不同;订制软件与软件包的要求不同;系统软件的测试往往无法采用应用软件所使用的技巧;游戏软件与库存系统有其各自需面对的测试标的。因此,测试人员必须因应软件的特性与资源的限制,加上过去相关的经验,规画最适合的测试方式。并随着经验的累积,不断改进作法,才能找出最佳的测试方法。

由此可知,要做好有效的测试,不只是埋头苦干而已,它需要良好的管理,使整件工作获致最佳的成果。关于测试的管理工作,可从组织、规画、执行与检讨几个角度来探讨。以下谨就笔者粗浅的经验野人献曝一番,希望提供读者基本的协助。

测试组织之设计

由于人性总自认为自己的最好最正确,完全由软件开发人员兼任测试人员,并不值得推荐。实务上往往因软件开发单位的经济规模不够,使得开发人员经常兼任测试人员。但若可行,研发单位应尽可能配置专任的测试人员,尤其是独立于开发小组之外的测试负责人员。尽管是否应设置独立测试小组业界仍有争议,许多人甚至以为保障软件品质唯有从改进软件开发的程序做起,但大部份美国的软件公司均设有独立测试或品保人员乃至于部门,这说明了独立测试仍有其不可摇撼的地位。

许多的软件研发单位将测试视为次等的工作,从而配置次等人员负责相关工作。如此一来,优秀人员无从参与,也缺乏意愿参与测试工作。结果软件品质不易度量,研发的成果常常被不佳的品质抵销,实为令软件开发人员泄气之事。主管是否能体认到软件测试的重要性,通常是成功的关键。软件测试固然是支持性工作,仍应配置合理的资源,以获取整体之成效。在当前的环境下,给予测试人员较多的关注,毋宁是必要的作法。

测试工作规画

测试工作的规画,至少包含两项要点:测试目标的订定与测试资源的配置。攻击需要目标,测试亦然。测试的目的在于找出软件的问题,提供改进之参考。目标若不明,测试人员即不知如何着手。

测试目标的订定,最重要的在于软件通过的准则,亦即测试何时方可结束。常见的情形是:软件开发的进度不断落后,最后剩余的时间仅有两个星期,于是测试人员的目标就是把最后两周用完,尽人事听天命。究竟测试多完整,隐藏的多少错误,测试工作的生产力如何?皆一概不知。反正产品卖出去或上线后有的是时间改进。然而产品销售后再改进,成本往往大幅增高,甚至原有开发人员离职他调,连亡羊补牢都倍感困难。经验一再显示,事前的测试除错绝对比事后维护省时省钱,唯有卖不出去或不能用的软件例外。

对于测试的要求可简单区分为二:一种是通过目标所订之软件品质;一种是在既定资源内达到最佳成效。前者要求山头一定要攻下,不达目的绝不停止。譬如目标为单位测试时间的错误发现率须低于某数字,若超过了就得延长测试。此种方式适用于品质要求较高的软件。至于后者则是上市时间已宣布,无法更改者,其目标着重于铲除最严重的错误。此种测试较着重测试的准备、经常对测试执行与除错设定时限与数量要求,其中最容易遵循的准则即为:重要功能永远先测。这两类测试的需求不同,足以影响到测试的计划、测试的顺序与关心的重点。读者不可不察。

至于测试资源配置适当性,则是评估测试目标能否达成的重要参考指标。测试人员需要合理的测试资源,譬如要求总研发人力的20%以上。总时程的1/3以上。人力不足,测试流于形式,时程过短,找到错误也来不及除错,均不可取。除了测试在研发的比重,也需注意测试工作本身在规画管理、规格个案订定、测试执行、回归测试、训练准备工作的人力分配。人员的训练与设备的安排尤其容易轻忽,需加以注意。不同阶段测试的资源配置,也必须加以考量,如此可避免测试集中于功能测试,忽略系统测试。这些工作的适切安排,有助于协助测试工作时时都执行最重要,也最有效的测试。

测试执行与管理

测试工作执行在管理上,首先需使测试与开发人员了解轻重缓急。测试人员常常不考虑测试的效果,而只依照测试的方便性来进行测试。譬如软件有十大模块,每一模块有50个测试个案,于是他从第一个模块的第一个个案开始测,测完一整个模块,再进行第二个模块的测试,执行全部完成或无法进行为止。事实上,测试应从重要且常用的项目测起。

开发人员的除错,则往往从好改的改起。于是100个错误改了90个,系统主要的缺陷仍为克服。测试管理人员需特别注意此事,确保测试工作的效率。

进行测试管理的好处在于随时可掌握状况,并因应需求及时调整测试策略。譬如测试一段时间后,发现某子系统的问题特别多,即可调整人力,增强该部份的测试。或是某些人的测试绩效较差,则可调整工作之分配,以求整体效果。当然,这些数据的取得有赖相关信息的搜集,包括数量与时间之信息。如果可行,可记录不同测试工作耗用的人力时数,计算耗用成本,以便未来进行测试规划时拥有更精确的参考数据。

进行相关资料的统计与分析,最好运用工具来帮忙,以节省人力并增进效果。如果市面已有的测试管理工具符合需求,也可径行采用。测试结果的统计资料,不妨公布在大家的眼前,使得测试成果可为大家了解,亦能促进工作同仁求取更佳的成绩。附图所显示为一简单的统计图表,显示每周的测试成果、除错成果,与产品残存的问题量,可协助主管决定测试终止及发行产品的时间。



测试结果分析与改进

当(阶段)测试结束后,测试管理人员可以进行测试成果的分析。有关预定目标与实际执行结果的差异,可作为下一版软件测试检讨改进的依据。譬如预定开立的测试个案数是否达成目标,执行与通过数是否可接受?投入的测试甚至除错人力是否足够?均可视状况计算依标准工作量,作为未来执行测试工作之预估标准。经由分析软件错误的生命周期,可以研究缩短的方法,例如加速除错与重测周期,或在分析设计阶段减少错误发生的机率,以缩短测试时程。

由测试结果可分析出不同测试的效益,与应改进之处。以下表为例。单元测试耗用大部份的人力,可能使整合与系统测试不完全。再以发现的错误数观之,整合测试发现一个错误的成本远低于另两项。由此可见在有限的人力时间下测试,单元测试做得太多,整合测试又太少。此意谓着对于单元测试所需耗用的人力资源过度乐观,或是在测试工作的配置不尽理想,应予改进。


 
                   测试人力时数   测试人力分布比率   错误个数   错误分布比率   平均时数/错误数
单元测试             227.104             58.6%         49             39.51%            4.635
整合测试             87.212            23.3%         54             43.55%            1.615
系统测试             70.184            18.1%         21             16.94%            3.342

合计               384.5                100%      124             100%                     3.2



除了以上的测试成效分析。如行有余力时应再对错误发生的原因加以分析,力求从问题的根源加以解决。这包含测试工作的改进与开发工作的流程改进。以前者而言,可考虑对测试人员施以较充分的训练,避免测试工作因准备不周浪费宝贵的人力与时间。测试标准程序的建立,也有助于测试工作效率的提升。至于后者,可由错误发生的原因研究预防之道。例如对需求变更未确实记载,导致设计错误的问题发生,或是软件的设计未加充分的考虑再撰写程序,导致设计不良造成的大量错误,均应加以预防,如此可望从根本解决软件的问题。

结语

欲提升软件品质与生产力,得先掌握现况。测试工作既是必要之恶,就需拟定最好的方法来面对。有关软件测试方法论的书籍文章为数固然不少,在应用上仍须因应自身的情形加以调整。品管大师戴明认为:获得好品质不能靠检验,而是来自改善工作流程。因此,测试工作只是一项起步。如何藉由测试工作,了解改善软件品质与生产力之道,才是我们追求的目标。愿祝各位软件品质的捍卫者,在工作岗位顺利前进,为测试工作赢得荣耀,更为你们的成功产品喝采。

kkey 发表于 2005-3-23 15:26:40

谢谢,真是一篇好文。希望能再多放些关于测试管理的文章。

TESTapple 发表于 2005-4-10 21:51:03

看了一些高人的文章,我有一个感觉:测试就像是考前复习,可以边学边复习,也可最后总复习,测试管理就象是班主任的工作,要指导程度不同的学生复习难易不同的科目,不知比喻的恰不恰当.

嘘garfield 发表于 2005-4-14 16:01:34

好文章!

不过公司是应该按照实际情况来做一个标准,还是应该努力按照一个标准来进行?

goal0813 发表于 2005-5-12 16:28:44

每个公司情况不同,标准也应该不一样的

goal0813 发表于 2005-5-12 16:39:09

楼主的好文阅过,深表赞同:)

songfun 发表于 2005-5-14 11:00:36

这篇文章很不错

goldfeng 发表于 2005-10-24 12:00:58

写得很好!管用。不过用起来还是很有难度啊。

TestTip 发表于 2005-10-25 08:33:25

好文章。特别是“测试结果分析与改进”,有指导意义。




--------------
《我在微软做软件测试》在我的个人网站www.TestTip.com

flytigerboy 发表于 2005-10-31 09:46:36

公司的测试要向一定要标准靠拢,尽量的做到标准化。

cherry8163 发表于 2005-11-10 11:57:20

好长啊,嘿。。。。

whywhywhy 发表于 2005-11-14 10:57:40

不错,不过好象一般公司都做不到这些呀:(

1122bj 发表于 2005-11-16 17:10:05

好文章

learn 发表于 2005-11-29 14:59:23

好文章!

不过公司是应该按照实际情况来做一个标准,还是应该努力按照一个标准来进行?


对于此种情况,发表一下我的看法:

1、首先要向一个标准进行靠拢。但标准是是通用的,每个公司都有自己的特点,他又不能完全符合标准。

2、在向标准靠拢过程中,要根据公司的具体情况,进行完善适合自己的这个“标准”

walker1020 发表于 2007-4-19 13:00:30

好文章,顶一下!

toyfrog 发表于 2007-4-19 14:34:57

好文章,顶一下!

xiongxing 发表于 2007-9-7 10:22:39

顶.

taotao2635 发表于 2007-9-13 13:28:12

写的很好, 收藏了,
感谢LZ

wuer 发表于 2007-9-13 21:05:19

好文章,顶一下!

wuer 发表于 2007-9-13 21:05:25

好文章,顶一下!
页: [1] 2 3
查看完整版本: 软件测试管理经验谈 (轉)