51Testing软件测试论坛

标题: 自动化测试都是些中看不中用的东西 [打印本页]

作者: afeng 时间: 2009-9-1 16:08
标题: 自动化测试都是些中看不中用的东西
做的时候累死，维护起来烦死，真正用的又没几次，表面上看上去很美，实际绣花枕头一个，真正有用的也就是性能自动化，白盒也没啥用，测试最实际的还是手工，就连微软也离不开手工

作者: zhangting85 时间: 2009-9-9 11:03
适合自动化的项目并不多。

作者: 耗子砍猫 时间: 2009-9-9 11:23
深有同感,不明白为什么那么多人迷信自动化。手工是测试的艺术,手工始终比机器灵活。自动化也只是需要大量的压力和性能测试的时候才需要。

作者: xiaoyaoke 时间: 2009-9-9 11:44
好！

作者: syyywhhlz 时间: 2009-9-9 11:44

原帖由 耗子砍猫 于 2009-9-9 11:23 发表
深有同感,不明白为什么那么多人迷信自动化。手工是测试的艺术,手工始终比机器灵活。自动化也只是需要大量的压力和性能测试的时候才需要。

因为都觉得自动化测试有技术含量贝

作者: 耗子砍猫 时间: 2009-9-9 11:48

原帖由 syyywhhlz 于 2009-9-9 11:44 发表

因为都觉得自动化测试有技术含量贝

其实真正的测试技术是程序能力、数据库和软件的架构,以及所在的行业知识;这些才是技术,呵呵。我是这么认为哈。

作者: syyywhhlz 时间: 2009-9-9 11:50

原帖由 耗子砍猫 于 2009-9-9 11:48 发表

其实真正的测试技术是程序能力、数据库和软件的架构,以及所在的行业知识;这些才是技术,呵呵。我是这么认为哈。

MM说得有道理~

作者: heqingbluesky 时间: 2009-9-9 11:54

原帖由 afeng 于 2009-9-1 16:08 发表
做的时候累死，维护起来烦死，真正用的又没几次，表面上看上去很美，实际绣花枕头一个，真正有用的也就是性能自动化，白盒也没啥用，测试最实际的还是手工，就连微软也离不开手工

看来你和我一样，深受自动化的"揉拧".

作者: low1210 时间: 2009-9-9 12:14
哥，你这能力做测试白瞎了

另注：微软不只手工，上述你看不起的测试他们也做

作者: 月上百合 时间: 2009-9-9 12:18
唉，为什么学习自动化测试工具？就我而言，还不是被逼的，想换个工作吧，到处都是要求会一门自动化测试工具，你说学不学？学，的确用不上几次，我们单位跟本不用，不学？哪能找到好工作

作者: 耗子砍猫 时间: 2009-9-9 12:24
百合姐姐也在啊

作者: jfan288 时间: 2009-9-9 16:16
我现在测试的这个产品模块有5000多个测试用例，全部自动化了。
如果手工来做，我问你，一周至少10次回归，需要多少人力?你脑子秀逗了吧。

作者: afeng 时间: 2009-9-9 16:31
你才脑子秀逗了，有多少公司会一周回归10次啊，你回归10次，检查出多少重要bug，new feature你可以用自动化来测吗，不还是要手工，回帖的时候也用脑子想想再回答，别什么意思都不明白就回答了

作者: jfan288 时间: 2009-9-9 16:45
你说自动化中看不中用，我感到很不解。如果你没自动化，你的开发checkin的代码会很糟糕。你敢让你的开发在不运行自动化测试用例(可能不包括黑盒的自动化，至少是大部分的白盒)之前就checkin代码吗？如果你现在做的这个东西没自动化，你敢保证在开发修改了一部分程序之后，产品还很正常？buddy test能保证多大的覆盖率？。
自动化的贡献不是发现bug，在于保证已有的功能运行正常，并且有相当大的覆盖率，包括代码覆盖率，bug覆盖率==，你手动能做到吗？
不要因为维护麻烦就否定自动化，自动和手动都有各自的优缺点，很多都是不可替代的。
至于你说的new feature，当然不可能自动化，但这个也要看开发模式，你的产品添了新功能，白盒测试代码肯定一起checkin的吧，测试人员是否能够在几天之后就添加黑盒的自动化用例呢，至少一个sprint里要完成吧。

作者: afeng 时间: 2009-9-9 16:55
我说的是gui自动化，也就是回归测试自动化，你跑题了

作者: afeng 时间: 2009-9-9 17:00
其实就你所说，白盒测试，我相信国内大部分公司都是没有这个精力和实力去跑的，就是外企也很大一部分都是捣捣浆糊，能不做就不做的，我们以前一个公司，为了应付一下老外，让别人觉得我们很有技术含量，就花几个月时间去搞了自动化，结果给老外看过之后，就束之高阁，再也没用了，几个人靠手工测试，不照样保证产品卖的好好的？，至于你说你们公司，我觉得没有普遍性和代表性，现在大多数公司搞自动化测试还是为了门面好看，做做样子罢了，有多少严重的bug是通过自动化发现的，很少，当然性能除外

作者: jfan288 时间: 2009-9-9 17:02
你500个用例，一周执行一次，或则只是产品release之前做几次，当然没有意义。但是这个要看具体产品的好哇，要是你的产品只是一个通讯录，开发者自己手动点点就好了，测试人员都不需要，直接发出去给客户用好了。

作者: jfan288 时间: 2009-9-9 17:04

原帖由 afeng 于 2009-9-9 17:00 发表
其实就你所说，白盒测试，我相信国内大部分公司都是没有这个精力和实力去跑的，就是外企也很大一部分都是捣捣浆糊，能不做就不做的，我们以前一个公司，为了应付一下老外，让别人觉得我们很有技术含量，就花几个月时 ...

所以说，这个要具体问题具体分析的，自动化有他不可替代的好处，不能否认，手动也有他不可替代的优势。

作者: afeng 时间: 2009-9-9 17:06
我这里讨论的是大部分公司的情况，你一定要说你们公司的测试如何自动化，技术含量如何高，在这里没什么意义，大部分公司的自动化还是没什么太大意义的，少数公司可能有意义，但只是少数情况，小概率事件，一向没有讨论的价值。

作者: afeng 时间: 2009-9-9 17:08

原帖由 jfan288 于 2009-9-9 17:04 发表

所以说，这个要具体问题具体分析的，自动化有他不可替代的好处，不能否认，手动也有他不可替代的优势。

所以说是没什么用呀

作者: jfan288 时间: 2009-9-9 17:10

原帖由 afeng 于 2009-9-9 17:08 发表

所以说是没什么用呀

怎么又变成没用了呢？5000个用例，需要在不同的环境，不同的分支下执行，你手动吗？

作者: afeng 时间: 2009-9-9 17:13
好好好，有用，有用，那你就有用吧，我看你到现在还没搞清楚我帖子的意思，算了，不和你说了

作者: 欣苓木子 时间: 2009-9-9 18:11
有些测试也用不了自动化啊

作者: shanxi 时间: 2009-9-9 20:23
gui自动化是为了显示你的价值而开展

谈覆盖率，gui自动化覆盖率能达到多高呢？

作者: jfan288 时间: 2009-9-9 23:31
不同的软件不同的要求。

[ 本帖最后由 jfan288 于 2009-9-9 23:35 编辑 ]

作者: chech28 时间: 2009-9-10 09:48

原帖由 afeng 于 2009-9-9 17:08 发表

所以说是没什么用呀

这个“所以”牵强了，手工测试不可替代没错，但这不能推出自动化测试没什么用。如果是做产品的话，每个build的回归是不可能用手工完成的。没错，这个过程bug发现率极低，但是回归的目的并不在于发现bug。

作者: heqingbluesky 时间: 2009-9-10 12:33
自动化在回归测试中的作用还是很大的，虽然维护脚本的工作比较繁琐，调试比较令人恼火，功效没有广告中说的这么大。

但是对于一个周期比较长的项目，自动化还是很有帮助的。

作者: 橙色咖啡 时间: 2009-9-10 19:59
其实看成本。。。以中国的人力资源成本来看自动化确实没前途。。。大学生都和民工一个价钱，何必自动化呢？一个自动工程师的工资可不低

作者: duguxin 时间: 2009-9-11 11:54
标题: 都是强人啊!!!!!
学了一段时间自动化测试,不过想的还是到时候功能测试用手工吧,,,, 性能测试用工具吧累啊 .....

作者: 蓝色迷走 时间: 2009-9-14 01:18
自动化测试成本太高

作者: yezi121808 时间: 2009-9-15 18:21
自动化测试，不仅仅是测试的工作，还要求产品接口稳定。如果把它当作测试单方面的工作，是会很累。想想装备测试，作为生产测试项目，它属于很好的自动化测试了。软件自动化也不是那么差劲，还是能节省很多人力，关键看怎么做。

作者: mentgmery 时间: 2009-9-15 18:34
真正的持续性的项目,能做到自动化40-50%测试用例已经很了不起了，成本很高

作者: codeh 时间: 2009-9-16 11:38
为什么做得累？是因为开发不配合，测试不配合，老板不配合，还是环境不好搭，脚本不好写，工具不好用，框架不好改？
为什么难维护？程序经常变动导致，脚本不稳定导致，还是工具、框架、环境不稳定？
为什么真正用的没几次？是回归次数少，测试人员觉得太难用，不想用？
这里面还是有很多问题的。
不是用了工具写了脚本做了框架就号称自动化了。
做了中看不中用的自动化测试，不是自动化测试的问题，是人的问题

[ 本帖最后由 codeh 于 2009-9-16 11:40 编辑 ]

作者: afeng 时间: 2009-9-16 13:30
是人得问题，是某些人为了面子，非要做没有用的自动化

作者: 小_麦 时间: 2009-9-16 16:42
支持33楼说的，自动化测试作不好，因为暴露出了需求，开发，测试一系列的问题，我们应该尝试改进，我想会有效果的，不改进肯定搞不下去了。。。。。。楼主别放弃，就算是你领导为了面子让你搞自动化，不管怎样还是会有效果的，只要你对过程提出并改进

作者: Robel.Yi 时间: 2009-9-18 11:12
等你真正做过自动化了就知道有没有用了，不过能理解你的心情，可能是你还没有过一个成功的项目自动化经历

作者: shanxi 时间: 2009-9-18 12:14

原帖由 Robel.Yi 于 2009-9-18 11:12 发表
等你真正做过自动化了就知道有没有用了....

请问你能概要描述一下你说的成功体现在哪里？

作者: afeng 时间: 2009-9-18 13:59
白盒测试确实对程序的检验有好处，而且可以加强测试人员对系统的熟悉程度，不过代价不是一般的大，一般的公司是不可能由测试人员来搞的，性能是一定要用自动化才能测的，所以是必须掌握的，至于gui自动化么，呵呵，就不多说了，个人认为bullshit

作者: black_tulip 时间: 2009-9-18 14:07

原帖由 afeng 于 2009-9-18 13:59 发表
白盒测试确实对程序的检验有好处，而且可以加强测试人员对系统的熟悉程度，不过代价不是一般的大，一般的公司是不可能由测试人员来搞的，性能是一定要用自动化才能测的，所以是必须掌握的，至于gui自动化么，呵呵，就 ...

性能是一定要用自动化才能测的

// 为什么？

作者: black_tulip 时间: 2009-9-18 14:07
其实代价大就是没有好处，好处是综合来看的。

[ 本帖最后由 black_tulip 于 2009-9-18 14:09 编辑 ]

作者: black_tulip 时间: 2009-9-18 14:08
确实，GUI，几乎没法搞。

[ 本帖最后由 black_tulip 于 2009-9-18 14:11 编辑 ]

作者: chech28 时间: 2009-9-18 16:11

原帖由 afeng 于 2009-9-18 13:59 发表
白盒测试确实对程序的检验有好处，而且可以加强测试人员对系统的熟悉程度，不过代价不是一般的大，一般的公司是不可能由测试人员来搞的，性能是一定要用自动化才能测的，所以是必须掌握的，至于gui自动化么，呵呵，就 ...

我觉得你这里有点混淆，看你这里提到的功能测试自动化似乎只包括了gui。其实功能测试自动化里有很多针对接口，命令行等等的。举几个我工作过的产品的例子吧。

产品A：一个X500目录产品，自动化的功能测试包括了：
安装+smoke，每晚进行。
通过产品自有的工具间接测试核心功能，每晚进行，一周500万个/次
purify coverage,
还有些杂七杂八的像compliance check，virus scan 每个milestone 做做。

产品B: 一个身份管理系统，因为同时维护三个版本，每个版本都有10到20几个end point 类型，所以每晚有三组基于SPML和LDAP接口的测试，每组大约10K+ 个用例。另外有一套基于web service的测试，以及利用虚拟机和ghost，staf的自动安装，部署的系统。

产品C：身份挖掘系统，这个开始才不久，现在是些简单的脚本为主，再加些QTP和selenium的帮助GUI的。

我们几乎没有专职的自动化测试工程师，大家的主要职责都是手工测试，别看上面那么多，这些都是经年累月慢慢积累起来的，平时花在这个上面的时间比例并不高。但是如果没有这些，很多东西无法想象要怎么去完成的了。

作者: xiaoyaoke 时间: 2009-9-18 16:21

原帖由 shanxi 于 2009-9-18 12:14 发表

请问你能概要描述一下你说的成功体现在哪里？

同问！

作者: afeng 时间: 2009-9-18 17:31
接口，命令行的测试类似于灰盒测试吧，我也做过功能接口的测试，是程序测程序，也是自动化，不过不见代码，那个倒是必须自动化的，特别是一些通讯方面的软件，可能有些公司每晚都要求跑一遍，不过肯定是少数啦

作者: chech28 时间: 2009-9-19 09:22
是吗？我倒没听说过灰盒测试，如果是这样的话，那我弄错了，一直以为只有白盒和黑盒，这些基础理论没怎么系统学习过。。。

作者: afeng 时间: 2009-9-19 12:42
灰盒是介于白盒和黑盒之间的测试,通常是写脚本直接调用接口程序测试,是针对每个程序中每个功能函数的测试,通常也在集成测试的时候进行吧,比黑盒更接近于程序,与白盒不同的是灰盒不见程序.

作者: alienzzq 时间: 2009-11-27 16:56
Gui 自动化 bullshit？呵呵。

作者: ssscn 时间: 2009-12-3 01:58
没有自动化,回归测试就会占很多人力...单个项目占的人力也会一直释放不了, 有经验的工程师最终被重复的工作烦死.
所以....对于重复性的验证, 不仅要自动化,还要能尽早的自动化,低成本的自动化

作者: hyper 时间: 2010-2-20 13:53
还是比较赞同楼主的观点的，原来做一个网站后台自动化的工具，最近引入Selenium来支持做前台，反差很大 - GUI 自动化，看来要三思。。。

作者: 森林一木 时间: 2010-2-24 09:30
标题党，哈哈。
自动化是个趋势，是个目标，所以大家都想学。
自动化有好处也有坏处，就像手工一样，都是双刃剑

作者: willingchenlp 时间: 2010-2-24 14:57
lz的ID眼熟。。。。。

作者: zhujie19881129 时间: 2010-2-26 14:21
要找到一个适合自己的自动化工具也是一门学问，只有适合自己的才是最好的。

作者: 七明芝 时间: 2010-3-4 19:33

原帖由 ssscn 于 2009-12-3 01:58 发表
没有自动化,回归测试就会占很多人力...单个项目占的人力也会一直释放不了, 有经验的工程师最终被重复的工作烦死.
所以....对于重复性的验证, 不仅要自动化,还要能尽早的自动化,低成本的自动化

正在期待进一步的自动化救我脱离苦海。。。

作者: 568529774 时间: 2010-3-5 15:17

有争议的话题，围城啊！

作者: stilldeeppool 时间: 2010-3-5 15:25
从家到单位需要坐车，而从卧室到家门是步行

这就是自动化与手工测试的区别

作者: afeng 时间: 2010-3-5 23:13
是的，问题是你到底是需要步行，还是买车，如果不用买车，硬买辆车，每月还贴这么多钱。。。。。。。。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)