51Testing软件测试论坛

标题: 关于测试的故事 [打印本页]

作者: carol2000 时间: 2005-3-29 14:52
标题: 关于测试的故事
关于测试的故事
在产品周期中，有三位测试人员根据要求开始测试软件。
测试员1：
立即开始手动测试，并发现一些细微的错误。开发团队高兴的修复了这些错误，然后提供一个新的软件版本以供测试。测试的越多，发现的错误越多，修复的错误也就越多。
测试员1 觉得很有成就感，也就会感到快乐――至少一段时间是这样的。
经过几轮这种发现、修复的循环，他开始由于一遍遍的手动重复运行实质上一样的测试而感到乏味和反应迟钝。当测试员1 最终丧失积极性― ― 同时也就意味着失去耐性― ― 就会宣称软件可以发布了。用户发现它有太多的错误，于是购买了竞争者的产品。
测试员2：
从手动测试开始，但很快就判定创建自动执行按键的测试脚本更有意义。仔细找出那些会使用到软件有用部分的测试后，测试员2 将操作记录到脚本中。这些脚本很快达到几百个。按下一个按钮后，这些脚本就被激活并按照步骤运行软件。
测试员2 觉得自己很聪明，也就会感到快乐――至少一段时间是这样的。
当软件发生变化时，这些脚本需要大量的维护。他花费数个星期开发人员争论，要求停止修改软件，因为这破坏了自动化测试。最和后，脚本需要太多的维护以致留下太少的时间来进行测试。
当软件发布后，用户发现太多脚本未覆盖的错误。他们停止购买该产品而决定等待版本2 的发布。
测试员3
不想维护数以百计的自动化测试脚本。他编写了一个测试程序来在应用程序中到处随机点击和按按钮。这种“随机”测试程序不需要一直查看，且发现了很多致命的错误。
测试员3 很享受发现这些引人注目的缺陷，也就会感到快乐－－至少一段时间是这样。
由于随机测试程序只能发现那些毁坏应用程序的错误，因此测试员3 仍然不得不做大量手动测试，并很快在这个过程中感到乏味和反应迟钝。当软件发布后用户在软件中发现如此多的功能性错误而对公司丧失信任，于是停止购买这种软件。

评注：
测试员1 是一个典型的手动测试者，从键盘手动运行所有的测试。手动测试在当前的工业界很普遍――它能提供直接的好处，但长时间的运行会让测试人员感到单调乏味，对公司来讲成本高。
   “我看到的最悲哀的景象之一就是一个人在键盘上手动操作一些可以自动运行的东西。这是悲哀的但也是有趣的。”
黑盒测试：软件和系统功能测试技术

测试员2 实践的是我称为静态测试自动化的测试。静态自动化脚本每次根据同样的次序执行同样的命令序列。当应用程序发生变化时这些脚本的维护成本很高。测试是不断重复的；但由于它们总是执行相同的命令，因此它们很难发现新的错误。
   “高度重复的测试实际上将发现所有重要问题的几率最小化了，这和沿着别人的足迹前行将发现自己的天地的几率最小化的原因是一样的”
“骗人的测试自动化,”
测试员3 的操作接近于自动化测试的边缘。这些类型的随机测试程序被称为蠢猴因为它们就是毫无目的的敲打键盘。它们生成非常规的测试执行序列并发现很多致命的错误，但是想控制它们到应用程序中你想测试的部分却是很困难的。因为它们不知道自己在做什么，所以它们会漏过应用程序中很多明显的错误。
“猴子式的测试不能是你测试的全部。猴子不明白你的应用程序，由于它们的无知它们漏掉了很多错误。”
“使用猴子式的测试工具,”
小结：
测试员1 的方法需要他的手不停的在键盘上工作。最后测试员1精疲力竭。
测试员2 的静态脚本重复他的手已经执行过的那些键盘操作。
测试员3 的猴子式测试本质上是无目的的在键盘上乱敲。
Now ：what we  should do to test  more science and more effective ？
;)

作者: Persephone 时间: 2005-3-29 17:00
值得思考！不管是手动测试还是自动测试都有其不足之处

作者: carol2000 时间: 2005-3-31 10:59
按作者的观点：这只是测试发展的三个不同的阶段，好象第四阶段是最理想的“测试建模阶段”，不过具体实现他也没说。。。
这前面的三个不过是我把他摘录出来了，因为我觉得这更符合我们国内的测试现状罢了
原译文出自51testing翻译版，名字我忘记了：（

作者: smartbaby 时间: 2005-4-4 09:16
非常好的故事~~
值得我们认真的思考自己做的测试是属于哪一类，还有哪些可以改进的地方~~
每一种方法都会有其缺陷，但是我们要做的就是把它的缺点尽可能的避开，最大化的发挥它的优点。

作者: huangweijun158 时间: 2005-4-5 11:14
我目前见过大多数公司都是使用第一种方法，悲哀啊

作者: element 时间: 2005-4-18 01:47
哈哈，中国的软件测试需要我们大家的努力啊！

作者: johnson_cong 时间: 2005-4-18 09:31
很值得思考，不过没有十全十美的东西，互相取长补短最重要。

作者: daichunchang 时间: 2005-4-20 21:13
哎~~~悲哀~~

作者: zension 时间: 2005-4-25 17:32
标题: 我们都为中国软件的事业发展尽力吧
　　　　　　

作者: 圣诞 时间: 2005-5-1 10:30
感受贼深的!!!!!!!!!!!!!!!!!!!!!

作者: carol2000 时间: 2005-6-14 11:13
呵呵，
to be or not to be？It Is a question...

作者: Satery_Li 时间: 2005-6-29 14:00
测试工作需要我们比一般人更有耐心、细心，同时也要有高度的质量意识，既然选择了在这个职业，我们就应该热爱它！无论采取哪种测试方法或者几种方法相结合，都应该是为了一个共同的目标：对软件的质量负责，之前你发现了再多的错误也没有什么好值得骄傲的，产品被最终用户验收和推广的时候，也许你可以笑笑了。
软件测试工作中重复测试再所难免，一个软件开始时期找得错误比较多，后期慢慢变少，这是很正确的现象啊，之前的错误逐渐被修复了嘛！别把找出来的错误数量当成了工作的源动力哦

作者: fantasy_yao2008 时间: 2005-7-4 17:32
值得思考感受颇深

作者: 周鱼 时间: 2005-7-5 15:56
最后都是死路一条，所以测试就是一个悲剧

作者: carol2000 时间: 2005-7-7 11:37

Originally posted by 周鱼 at 2005-7-5 03:56 PM:
最后都是死路一条，所以测试就是一个悲剧

:p
so I decide to jump out of the test work,but at the end of my test career ,I will write a perfect test plan !:p

作者: texiang 时间: 2005-7-15 12:16
个人认为：上面的例子很深刻，不过，就中国的公司来讲，好像都停留在第一个阶段，对于后面两个好像没几家去做，我认为，采取自动和手动两种结合方式比较好一些

作者: gs6431 时间: 2005-9-1 15:15
这三个阶段都很差劲阿，哪个的缺点都很明显，而且测试工作的定义是由测试人员来做的，不是公司领导，公司领导不会规定你到底是用手工测试还是写测试脚本或者用测试工具，采用什么样的测试方法是测试人员的责任，所以我不太同意上面的帖子中把测试方法的不理想的责任归结于公司！责任在测试人员身上的。

作者: 廖政 时间: 2005-9-16 13:15
顶！！！！

作者: fishfish 时间: 2005-9-23 11:54
说的都很有道理，但事情处于初级阶段，都会存在很多的问题

作者: marry120 时间: 2005-10-13 11:29
别打击我
最近我正在琢磨用qtp捣腾自动化验证这一块呢

作者: 钟花花 时间: 2005-11-9 14:26
标题: 。。。。
发人深省。。。

作者: songfun 时间: 2006-6-16 15:07
有意思，呵呵

作者: baijun 时间: 2006-6-20 16:02
武汉测试群：26373385

作者: renhe 时间: 2006-6-21 22:10
ding !真的不错!要思考了!

作者: lxm 时间: 2006-6-27 11:31
标题: 高楼万丈平地起
可能是必须经过磨难才会进步，跨越初始阶段可能吗？

作者: aricone 时间: 2006-8-18 15:51
同为互补，相辅相成。

作者: shyan77 时间: 2006-9-1 17:46
属于第一类，经常会觉得很累，很乏味，偶尔会发现很有趣

作者: tinalanbinger 时间: 2006-9-8 17:17
测试的路还很长,在无聊,乏味中寻找乐趣吧!

作者: windfly1314 时间: 2006-9-12 14:52
。。。我也害怕我也会走进死胡同

作者: lyyyzhbsj 时间: 2006-9-15 17:21
程序员和测试员的工作都很累人,但是作为自己选择的工作就要认真对待,只有两者很好的结合在一起,提高工作效率,提高并保证软件的质量,这样才是我们的努力方向!不在于工具的使用上,我的观点.

作者: wangjf8711 时间: 2011-8-23 15:09
工作中有两种情况，第一类和第二类，头疼

作者: block 时间: 2011-8-30 18:49
顶。。。

作者: 1977fx1250 时间: 2011-9-1 10:27
测试本身就是一个不断反复重复的事情，如果感到烦躁，也就是你不再适合这个行业的预兆吧。
可以编写自动化脚本，可以用一切可以想到的方法“偷懒”，但是手动测试，个人认为在部分环节仍然无法被取代。

作者: zhangting85 时间: 2011-9-4 13:58
时隔五年，让哥来解答你们心中的疑惑吧。
首先这个帖子里提出的问题很好，但是国内同仁水平普遍不够，呐，我知道大家也不想的，出来测试最主要是开心。。。下略100字
第一个测试员，我只能说一个字，就是累。
第二个测试员，同样是一个字，笨。
第三个测试员，两个字，聪明。

这里看似无解其实是因为命题有漏洞。

如果是我的话，我选择开发和测试员2一样的测试脚本，但比他聪明的地方是永远要记住“测试逻辑和UI分离”“测试逻辑和测试数据分离”，这两点是自动化测试的两大关键点。利用合理的架构可以完美实现这两点，实现与UI无关的测试脚本，最终效果是，开发累死累活改了几百行代码，我只要改几十行或者几行测试脚本。

测试员3确实聪明，用这种测试方法搭建一个mokey server之类的东西可以发现很多致命缺陷，虽然这看上去很SB，但试过你就知道真能发现很多严重问题，特别在游戏测试领域里，老外们做过很多试验了。但是，这个还不够，把这个加上我前面设计的那种维护工作量超小的测试脚本，这个工作就很赞了。

回到测试员1，全部手工测试太累了而且太傻了，你最起码应该雇一个外包人员，让他来做苦工你来做监工。不过由于我已经有了上面两种几乎完美的自动化测试了，剩下的事情就是手工探索性测试。非常简单。

三者加以改进后结合，如此，就几近完美了。

作者: m@e 时间: 2011-9-5 18:31
真的是故事，

作者: xiaoming2624 时间: 2011-9-21 13:34
测试的故事，看过了，大家也可以深思一下！其实做测试的要不断接触新的东西，掌握一些主流的测试方法及工具，要有所追求，肯定会有好发展的！

作者: yinlingzii 时间: 2012-2-20 15:07
即使目前国内大部分是处在人工测试阶段，只有少量的公司引用了自动化测试。但还是没有一个人出来左右中国国内的测试技术，领航！

作者: zhangxinnow 时间: 2012-5-30 14:08
主要的，重复的可以自动化的流程自动化。
其他的流程和异常测试手动测。
多反思，多评审，多增加好的新用例。
评：文章不错。

作者: 悠悠ma 时间: 2012-12-17 11:06
现在已经将这三种方法结合起来测试了

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)