(驳斥）迷信自动化是测试人员的误区 （1）

cleverman

今天七月四号美国国庆节，有时间坐下来总结一下过去几年在微软的测试经验，谈谈对测试自动化的看法。
  

[comments]今天看到这篇关于自动化测试的文章，有很大的误导作用，我也谈一下对自动化测试的看法。首先，作者是一个在微软工作了几年的一个测试人员，总结的是在微软的测试经验。可是他总结的并不是典型的微软公司的测试观点，而是自己个人的测试观点。因此，他的观点实际上是与微软公司没有太大关系的。这点，大家还是不要被误导。众所周知，微软在几年前对测试有一个大的改变。以前微软有两种职位，STE和SDET，前者是手工测试，后者是自动化测试。微软把STE基本cut掉了，因此STE要不走人，要不转SDET。转过来的，因为以前主要是手工测试，因此就对自动化测试产生很大的抵抗情绪。这种情绪是team lead很不愿意看到的。因此，STE的困境是比较大的。还有就是在微软里做几年如一日的测试人员大有人在，因为能力问题，级别得不到提升。因此，几年还是junior。所以，在微软做几年测试，也不代表就是一个级别很高的人。

另外要说明一点，从文章的title里可以看到，这篇文章是说给迷信自动化测试人员的。作者以前本身就是一个迷信自动化测试的人，可是后来从迷信变得不相信自动化测试了。可见作者是一个很容易走极端的人，从头到尾都没有用一个公平理性的态度去面对自动化测试。还有就是，这个文章如果给迷信自动化测试的人看，还是有一定意义的。可是，我们当中有几个人像作者以前那样迷信自动化呢？大部分看了可能会觉得是针对整个自动化来讲的，而且作者确实也偏离了他的title，因此我也需要澄清一下。


先说说为什么做测试的人喜欢搞自动化。
第一，自尊心。计算机科班出身的人都喜欢作开发(Dev)。做测试工作经常是身不由己，可是测试工作很多时间不需要编程，于是做测试的人想方设法写些程序，以显示自己也会编程。结果往往是欲罢不能，测试自动化程序越写越多，越写越复杂。后面我会谈谈测试自动化框架复杂的代价。
第二，为了出成绩。很多测试组为了向管理层展示成绩，往往要拿出例如测试自动化达到80%，程序覆盖率达到90%。要我说，这些都是Bull Shit. 就象小平同志说的“实践是检验真理的唯一标准”，我认为在测试中“用户不出问题是检验质量的唯一标准”。自动化做的再多，用户出了问题，也是白搭。另外，一个人就可以做的测试，自动化往往需要两个，三个。倒是解决就业的好方法。   

[comments]我想作者漏掉了一个最重要的方面，那就是自动化可以解决我们的测试问题。两个方面，一是自动化可以完成手工不能完成的任务，二是自动化可以替代手工重复的劳动。这才是我们搞自动化最重要的原因。关于自尊心的问题是有的。可是作者解释的好像都不在理。计算机科班出身的人都喜欢做开发？这个观点从何而来？计算机出身的人可以做开发，测试，dba，support，销售，市场，自己创业。各种工作都有可能，怎么能说都喜欢做开发呢？以我的个人经验来看，喜欢做开发的是少数。做测试经常是身不由己？我认为做开发也很多是身不由己。测试工作很多时间不需要编程？开发人员很多时间也不需要编程。后边的就不说了。总之，给人的感觉都是作者的心理。好像作者自己喜欢做开发，身不由己作了测试，发现不需要什么编程，然后就想方设法写程序，以显示自己也会编程，结果出了大问题了。这里可以提供两点信息，一是作者想做开发没有做成。可见作者的开发能力有限，老板不给提供这个机会，因为老板是要给产品负责的。还有就是，做了几年的程序，而且一直想转开发而转不过去的话，我真的不能suppose他水平有多高了。另外就是，把自己的心理，心态，引申到整体，不是很有道理。

用户不出问题是唯一标准？你可以认为它是一个标准，可是你怎么衡量？用户，半年不出问题，一年不出问题，还是五年不出问题，永远不出问题？还有就是，难道只能在用户的使用上才能衡量一个软件的质量吗？我们做测试的首要目的就是在用户拿到产品之前就要保证好产品的质量。难道，自动化测试，程序覆盖率不是实现这个目标的解决方法吗？一个人做的测试，自动化需要两，三个。这又是从何而来？以我的经验，三四个人的测试，我一个人做自动化就可以完成了。我前不久的工作成绩就是，本来需要3个星期手工测试的，经过我的自动化，变成1个星期完成了。也就是说，本来需要三个手工测试人员，现在只需要一个自动化测试人员了。还有就是，我们的软件需要在不同平台下，不同环境下测试，没有自动化怎么行？比如，我们要在2000，XP，XP+sp1,XP+sp2, 2003, 2003+sp1，2003+sp2,vista。这还不包括，这种cpu，windows的不同版本呢。手工测试得需要多少人呢？

[ 本帖最后由 cleverman 于 2007-7-17 09:40 编辑 ]

cleverman

这个主要是看性格，有些人喜欢顺其自然，包括我自己在内。有些人喜欢给自己压力，制定很高的目标。当然确实像你所说，很多结果并不美妙，有些很糟糕。我们自己的性格很难改变，但是对于职业发展的规划，甚至人生的规划还是应该有的，能够看清楚行业的实际情况也是很重要的。当然每个人都会有不同的规划和对行业的理解，未必谁就正确，谁就错误。随着时间的推移，行业的发展，自己的经历，大家的理解都可能发生变化，甚至是巨大的，颠覆性质的变化。更有很多时候整个情况的发展可能完全超出自己的预料，使自己很难顺其自然，必须被迫地去做出改变。举几个例子：比如国内的下岗工人，比如微软以前手工测试的那些工程师。还有一个很典型的例子，因为国内近20年的高速发展使得国内人很难有这些体会，在加拿大一个朋友的同事搞开发的，在IT泡沫的时候被裁员了，当时根本找不到工作，他就去森林做伐木工人做了两年，等经济好转的时候才又回到原来的公司。你说你怎么能保证自己一直顺其自然的发展呢？你只能控制自己，而不能控制社会的现实，很多时候是需要强迫或者被迫做出转变的，为了适应社会的发展。否则真的到了那一天，后悔也来不及了。

afeng

可我始终觉得人的发展是要顺其自然的,如果一味强求,也许结果并不美妙,反而失掉了很多原本应有的东西

cleverman

没有什么得罪不得罪的。要说得罪，我的话可能更会伤测试人员的心。不过任何事情有不同的声音都是很正常的。你说的很对，很多人不说话，可是其实心里很反对我的观点。我想这个是非常正常的。每个人都有自己的理解，我想我的理解应该能帮助一些人，也许是很少的一部分人，可是毕竟能帮助一些。而不同意我观点的人，我的话应该也损害不到他们什么的，所以我觉得还是有必要说出来。如果不同意我观点的人认为我真的伤害到了他们的话，我可以把我的发言删除，跟需要的人私下交流。已经有一些人因为我的发言转向了开发的道路，我也希望自己没有误导别人。

afeng

埃,多说无益,个人看着办吧,很多人都是不发言的,我也不想多说,也许理解有误,得罪得地方还多多包涵

cleverman

你说的没错，我指的是普遍，而你指的是没有绝对。其他的就不想解释了，不过情商低就是SB，这个我不太同意，因为很多天才确实是情商很低，很多人生活都不能自理，甚至根本没有情商，我觉得我们还是应该很尊敬他们。你说的喜欢出风头的人，喜欢装老大的，我觉得要看实际情况，如果他们真的是水平高，我就无所谓，我会向他们学习，如果水平一般还这样，我也看不惯。当然，我个人认为一般来说高手都不是喜欢卖弄的人。对于他们的下场，我不是很关心，我个人还是希望大家都好，即使自己看不惯。我同意情商很重要，在很多地方都是大于智商，但是在特定的情况下智商要起决定性作用了，比如科学研究，就像爱因斯坦，他的研究成果没有智商是万万不能的。我们最初的话题是开发与测试水平高低的问题，现在已经扯远了。无论你怎么想，我个人还是觉得我跟开发的水平相差还是比较大的，我预计是要花2年的时候来弥补。当然我指的是我们公司的开发。时间不早了，要睡觉了。明天再聊吧，最后想说的是我的话也主要是从个人的经验和感受来谈的，有错误也难免，肯定不是100%正确，我们都可以保留各自的观点，如果不能达成一致的话。其实我也一直在改变自己的观点。

yil1

51testing卧虎藏龙，看来以后要多来逛了！

afeng

搞研究是说得好听了,其实也就是这么回事,我觉得天下就两种人,读的进书的和不想读书的人,其实你可以说他们在读书方面有差距,但在作其他事上也许就没什么差距了,难道你觉得硕士,博士只要读书好,什么事都作的比别人好,你去看看现在作老板的,有几个是真正的硕士,博士,读书也和作其他事情一样是有目的的,我为什么要读硕士,为什么要读博士,不是为了读书,而读书,否则也不用说,职场上情商大于智商了,至于sb么,我的定义就是情商非常低的人,不晓得你同意不同意,不过凡是那种喜欢出风头的人,喜欢装老大的人,下场都不怎么好.

yil1

我觉得你心里压力过大了！该休息了！

cleverman

好像你并不清楚硕士，博士是搞研究的，不算是读书的。他们当然也会读书，但是主要还是以研究为主。他们研究的成果可以申请专利，或者开发成产品，有些博士甚至直接开公司了，比如Google就是这么起来的。当然搞研究好，也未必就一定会工作好，可是也没有道理说他们一定工作的不好吧？我想总的来说工作还是要比一般人出色吧？至少是有些工作一般人做不了，只有他们能做，比如做教授，就非常要求学历。还有做研究工作的，一般都是要求博士学历的。你认为中专生在微软做个开发也未尝不可？这也仅仅是你个人的观点，如果bill说出这个话还会有人听，你说的话，里边并没有什么论据所支持呀？比如，做开发需要的一些基本功，都是中专生所不能学得到的，不知道怎么去工作？那个王均瑶我还真不知道，算我孤陋寡闻了。另外就是别人会的多，自己感觉比别人强也不需要称他们SB吧？你心目中的SB是怎样的定义呢？而且说别人SB也并不能证明自己比他们强吧？顶多是自我安慰一下吧？

afeng

读书只不过是读书的能力,硕士也好,博士也好不等于他们书读的好,工作就一定好,在我看来中专生在微软作个开发也未尝不可,说不定还比那些硕士,博士作的好,你认为开发高人一等,我觉得有些开发象白痴一样,企业家30多岁死的多的是了(王均摇知道吧),就是50几岁翘掉又有什么区别呢,作软件的,也就这么几道菜,谁来作都一样,你可以学的比别人多,但在一个公司里以就老板一个人可以觉得自己高人一等,要是有个什么作技术的,觉得自己会的比别人多,就高人一等,那我觉得和sb没什么区别.

cleverman

事实上，如果你去看公司的招聘要求，会自动化测试和编程的会很有优势。有些公司招聘测试必须会自动化和编程，并且要有实际开发经验。当然了，从大多数公司的测试情况来看，我同意你的看法，不过这些也是会改变的。

stilldeeppool

不可否认测试行业存在这样的一种浮躁的现状,不管是自动化测试或是手工测试,抑或是黑盒测试,白盒测试
任何一种测试方式只是作为测试人员发现缺陷的工具
举个简单的例子,用一把刀可以杀死一个ZD份子.另一人用一把枪杀死一个ZD份子.
他们之间因使用的武器不一样,难道爱国热情会有高低吗?
目的是一样的,只要达到了,用刀,用枪又有什么区别呢?

只要能发现缺陷,自动化测试难道会比手工测试高人一等?编程序的人一定比不会编程序的人高人一等?
归根到底,还是一个心态在作祟,担忧的是这个心态开始流行起来,在刚刚进入这个行业的地方


不管是黑猫或是白猫,或是机器猫,宠物猫,只要能捉到老鼠,就是好猫

cleverman

测试和开发是广泛的概念，如果直接广泛的比是没有什么意义。比如，微软，google，IBM的测试那是比一般公司的开发要强得。很多公司的开发人员跳到大公司也只能做测试，甚至是从junior做起。如果广泛的比，当然是不现实的。但是，在一个公司，一个team，或者自己跟自己比，开发工作的难度是要大于测试的难度的，开发能学得东西也是比测试要深一些的。这是为什么很多测试的有机会就转开发，而很少开发转测试，这里我指的是成熟的公司，成熟的工程师。我不知道你为什么认为你的学习能力跟别人差不多呢？你认为普通学校毕业生跟清华，中科大能是一种学习能力？如果是的话，怎么当时没上清华，科大呢？如果你觉得你能力跟硕士，博士差不多的话，那他们多读那么多年就是白读了？对于你说企业家30岁一命呜呼，我还真是基本没见过，做工程师的倒是不少。当然人各有志，如果你感觉到做测试幸福当然很不错。可是我的观点是，在社会上，在你的一生中，你不可能总是幸福着。一般来说，对于一般人来说，苦恼的时间可能更多。现在世界人口这么多，尤其是在中国这么竞争激烈的环境，如果自己不想证明自己是强者的话，可能幸福也会是短暂的。没有白来的幸福，幸福的背后往往伴随着巨大的痛苦。如果年轻的时候不吃苦，以后也未必能避免吃苦，而且年纪大了吃苦有可能都没机会回头了。这是我的个人观点，我是个悲观主义者。我同意开心最重要，希望我的心态不要影响到你。

afeng

测试的能力一定比开发差,我不敢同意罗
起码学习能力是差不多的吧,至少我没觉得,开发会的东西,我会学不会,即使你是硕士,博士,我觉得在能力上我和你也没什么区别,而我转作测试,主要是看幸福度,我感觉作开发的幸福度远不及测试,人活着不能光为了工作,为了钱,也不可能为了证明自己是强者,就一味给自己加压,人活着最重要的还是开心,有些企业家,家资数亿,比开发强多了吧,到了30几岁,一命呜呼,这样的人生又有什么意义呢,所以讨论开发,测试谁更强,本身就没意义,所谓人各有志,不能强求,

cleverman

我这句话是指的在微软吧?
如果要是从整个情况来说,不是某个公司的话,当然不是这么绝对.
关于兴趣,这个可值得讨论,我感觉很多人从开发转到测试是拿兴趣作为一个借口,或者说作为自己安慰自己的一个理由.
当然我不排除有些人是真的不喜欢开发而喜欢测试.可是一般能力强的人还是觉得在开发上更能体现自己的价值.我觉得真的能力很强的人是很罕见去转测试的.当然有些因为钱,或者晋升的因素,我指得是纯技术.至少我是没见过.

dypku

cleverman，你好！
你的高见：“可是总的来说，测试的地位还是比不上开发。这也是为什么有人从测试转到开发（而且是很多人），没人从开发转到测试（能力差者除外）。”
难道从开发转到测试，就是因为能力差么？我认为有点偏颇，呵呵~
从开发转测试，和个人的兴趣也是有关系的！

[ 本帖最后由 dypku 于 2008-4-24 11:50 编辑 ]

smz_198181

我想cleverman的意思不是说测试做到多少岁就做不下去了，而是指你能力达到一定程度，测试这个行业已经没有和你能力非常match的职位了，再想往上提升只能去开发这个范围找合适的位置，绝大多数测试工程师不要担心这个问题，因为很多人能力可能也达不到这个程度， cleverman都在google美国总部当上了team leader， 年薪10W美元＋，还要再过一段时间再转开发，咱们还没到担心这个的时候，而且即使真的能达到cleverman那个位置，有了哪种能力 转开发也是非常简单的事情！

cleverman

对了，我自己也是无奈才开始做测试的。要不是年纪大，我早就转开发去了。
另外，我做测试将近两年的时间都十分的郁闷。一直想要脱离这种状态。现在其实已经不是纯测试了，可以说一半测试，一半开发。而且我的工作跟纯的开发是非常接近的。可以这样说，我们这里的测试要懂很多开发知识，比一般公司的开发人员水平还高。现在自己觉得转去开发还没有ready，各种原因吧。如果以后学习了很多开发知识以后，现在的工作用不到多少，那也很有可能去搞开发了。幸好这里的测试可做的东西很多，要是一般的公司，非得把我郁闷坏了。还有就是要是跳槽的话，很可能就直接申请开发职位了，因为其他公司很少有这种测试职位的。

cleverman

原帖由 yt1985cncn 于 2007-7-23 21:46 发表
楼上有人说从开发转到测试的人员很少，能力差的除外。我对这点很不赞同，一个良好的测试人员可以没有做过开发，那他要的是敏锐的直觉。如果他做过开发，则更有利于他对整个系统的把握。再着，测试往往看全局，而 ...

你去大公司看一下，大部分做测试的是因为面试开发没有成功才去做的。包括这篇文章的作者。
很多人本来是应该做开发的，要放到测试锻炼一两年，再转回去。做了测试再去开发更能保证coding的质量。
开发的路可以发展很久，测试则不同，很快就发展到头了，发展到头还是得转开发，或者管理。可是，管理毕竟是少数人才能做的。因此大部分如果想往上发展还是要转开发。
当然我说的是测试发展到头，很多人还不是很明白测试怎样算发展到头，也有很多人根本就发展不到头。
还有就是我说的是目前的情况，不代表以后也这样，而且我说的是大公司的情况，国外的情况，不代表国内，国外小公司的情况。
个人来讲，我觉得测试发展两年多就到头了，不能说完全到头吧，但是工作基本上就是重复了，不能学到什么新东西了。不只我自己，连我的几个老板都让我在开发上下功夫。（对我在测试上已经没什么要求了）