51Testing软件测试论坛

标题: 自动化测试终究会取代手工测试?(2008-11-03 )获奖名单已公布 [打印本页]

作者: 默默巫    时间: 2008-11-3 13:19
标题: 自动化测试终究会取代手工测试?(2008-11-03 )获奖名单已公布
背景描述:随着测试工具的逐步发展,我们越来越多的依赖于各种测试工具来完成我们的测试工作,那么未来还会有手工测试的天地么?




奖项获奖名单奖励答案连接
最佳话题PK手尛蟲蟲
当当购物卡50元+最佳PK手勋章
29#

作者: sinakevin    时间: 2008-11-3 13:26
万变不离其宗
作者: archonwang    时间: 2008-11-3 14:14
无论自动化测试技术如何先进,始终不能超越人工测试。我觉得一个主要的原因在于目前的技术局限性。除非未来在AI方面有较大的提升,才可能模拟出人类的行为,但是仅仅限于模拟,很多人类行为是没有逻辑性的。
作者: zengyixun    时间: 2008-11-3 15:22
人家说的终究会取代,这是一定的,但取代的只会是人工执行测试用例这一部份,而对于设计方法部份很难取代,所以这就是我为什么在不会编程就做不好测试的PK问题中认为:不会编程也能做好测试的原因所在,当你用编程取代人工执行测试用例后,编程者的地位其实就是取代了执行用例者的地位,这也是测试的编程的价值所在,但是真正的核心价值在与设计与方法,所以自动化终究会取代测试执行的!
作者: chenrong    时间: 2008-11-3 15:51
自动化测试在基于在程序相对稳定和回归测试上,对于一个程序不稳定的情况下去做自动化测试是比较难的。手工测试能用高智能方法去测。而自动化测试在低智能的情况下用,才能显示出它的好处。非要在高智能的情况下用也不是不可能,但是这个成本会好高。对企业不利。
作者: qcy01    时间: 2008-11-3 15:55
自动化测试可以将繁琐的测试变得简单,但是只在一般不用太多逻辑思维的测试用例上,自动化测试根据给定的测试步骤或者测试方法来执行测试用例,不可能将所有的人思维方式程序化来测试软件。毕竟人类的思维不一样。
作者: momoANDmonica    时间: 2008-11-3 17:43
虽然自动测试工具有很多好处,但它不能解决所有测试工作中的问题,永远无法代替手工测试。应看做是对手工测试过程的一个补充。
★  工具也是软件,只能按照指令执行,而人可以运用想象力和创造力采用不同的方式改进和完成测试。而且人工测试可以处理意外事件,如网络中断,必须重新建立连接,手工测试在测试期间就可以尽可能地解决问题。然而这样的意外事件却可以中止自动测试的执行。
★  自动测试并不是对所有的程序都适用。如:确认打印输出的结果。测试人员为了验证结果,必须走到打印机前确认文档确实打印下来了,纸上打印的内容也必须要用眼睛来验证,这不可能用工具进行吧~~还有类似的:测试彩色模式的合适程度、屏幕轮廓的直观效果,或指定的屏幕对象是否能播放正确的声音等,用自动化测试都比较困难或者不可能
★  如果软件版本不稳定时,用户界面和功能频繁变化,那么修改相应的自动化测试脚本的开销也会比较大
★  测试工具本身也是复杂的应用程序,也需要提供补丁,也可能是不可预测的。如:数据库损坏,基线不能恢复,或工具行为本身并不总是与预期一致。定位问题或将损坏的库从备份中恢复也需要花费很多时间
★  还有就是自动测试的费用和维护问题。自动测试的费用包括了工具购买费用,培训费用,自动测试脚本的开发和维护费用。维护自动测试脚本的工作量有时非常繁重
~~~~~随着测试工具的发展,越来越多的测试人员对自动化测试抱很高的期望,甚至认为自动测试能够完成从测试规划到测试执行期间的所有工作,不需要过多的人工干预。从技术角度上分析,这样的需求几乎是不可能实现的。
在一个项目中任何工具都不可能完全代替所有的手工测试!!
作者: lantianwei    时间: 2008-11-4 11:11
发错了,见正方观点,呵呵。。。

[ 本帖最后由 lantianwei 于 2008-11-4 11:16 编辑 ]
作者: lantianwei    时间: 2008-11-4 11:15
人有多大胆,地有多大产! 因此自动化代替手工更不在话下,唯一的问题只是时间问题,可能这需要10年,几十年。。。

为何我会如此确定自动化必将替代手工?
1. 随着软硬件领域的更加规范标准,这将大大降低自动化替代手工的难度
2. 随着人工智能的不断发展,让机器也有思想将不是问题,而用人工智能正可以用到自动化替代手工上来
3. 人类总是很懒,因为懒的走路,发明了汽车;因为懒的做饭,发明了肯德基;因此,终将有一天人将懒的去手动测试!
4. 在速度,成本方面人跟机器没发比,而跟有思想的机器更加没法比,为了降低成本,提高效率,这也是将来企业的必然选择
5. 在一两百年前,让个破铜烂铁帮咱算题,整理文件,聊QQ是不可想象的,但我们现在做到了;而自动化现在已经有一部分替代了手工,那么他的完全替代更加不是梦!

当然,在现阶段自动化替代手工将只是一个梦,更有少数公司因为自动化的不成熟导致自动化的成本比手工还高,效率却低。因此我觉得手工测试在未来几年或更长点的时间还是非常有市场了,但自动化将是一个趋势,谁也无法改变这点!

我相信,在未来软件高度成熟时代,如果我们想开发一个软件产品只要需要输入这个软件产品的一些特性描述,包括软件产品的设计,开发,测试等一系列过程将会自动完成,然后我们就可以得到我们想要的软件产品。也许将来也会出现无错软件,那么测试就根本没有必要了。可能有很多人会反问,让软件无错怎么可能啊?当然可能按现在的软件,计算机模式,根本无法实现无错软件,但如果我们对计算机领域进行一个大的变革,包括计算机硬件,软件开发等 比如计算机的表示不在是1,0,而是更加复杂的字符。。。

人有多大胆,科技就有多牛!
呵呵。。。

[ 本帖最后由 lantianwei 于 2008-11-5 09:29 编辑 ]
作者: 云淡风轻    时间: 2008-11-4 15:57
自动化只是辅助手工测试的一种工具,但是它没有手工测试思维性。就像机器人只能为人类服务而无法代替人类一样。
作者: badguy    时间: 2008-11-4 16:00
自动化测试的目的是替代繁琐的手工测试,将测试人员从手工测试中解脱出来,将精力用在测试用例设计,挖掘更深入的bug.但也并非所有手工测试都需要自动化,这需要进行ROI的评估
而且,自动化测试主要是用在回归方面,保障之前的功能正确,发现bug极少.bug还是要通过手工测试来挖掘
作者: maclehappy13    时间: 2008-11-4 16:01
无论自动化测试技术如何进步,有很多人工操作是取代不了的。测试脚本是没有思维的,在执行过程中是不能根据实际情况做适时反应的。
作者: terrylight    时间: 2008-11-4 16:03
自动化测试是永远不可能取代手工测试的,试想一个用户量很大的网站经常要做一些活动,用了自动化需求一边叫本不能复用无论人力财力都是很大的消耗。
作者: 雪竹莲    时间: 2008-11-4 16:07
手工测试是软件测试过程中的基础,现有的自动化测试工具必须在系统软件各个方面都完善以后,才有可能比较完善的运用到系统测试中。
如果一个软件对于手工测试的操作都无法完成,更不用说自动化测试了。
自动化测试工具的优势在回归的过程中,才能够显示出来。
作者: hanni    时间: 2008-11-4 16:21
工具的思维始终不能代替人的思维,自动工具是为我们保证软件质量而服务的
作者: shennocsm    时间: 2008-11-4 16:25
手工测试永远是不可取代的。

自动测试应该说在特定的时候比手工测试要快速而且反应问题准确。但是不要忘记了,机器永远在执行固定的代码。

而一些BUG是需要一系列操作才能被发现的,那就带有很大的偶然性,机器里面没有偶然。

自动测试的BUG,手工一定可以,但是手工发现的BUG,可能机器可能永远也发现不了。

除非机器能和人脑一样工作。
作者: maguschen    时间: 2008-11-4 22:00
虽然我一直做自动化测试,但是自动化测试真的是不可能取代手动测试的,自动化测试发现的BUG是有限di~
作者: lvtianhai    时间: 2008-11-4 22:56
标题: 有梦想才能成真
只有敢于大胆的梦想,才会有发展的可能。而且任何事务的发展是建立在梦想的基础之上的,因为有梦想我们才会竭尽全力去想办法达到。明知不可为而为之,这才是突破。
作者: fhqyygytjh    时间: 2008-11-5 11:09
标题: 自动化测试终将与手工测试和谐共存!
俗语说的好“没有永久的敌人,只有永久的利益”,手工测试和自动化测试最终都是为了保障软件质量,在人力、时间、Money等等因素的约束下找到一个最佳的平衡点。

1.初期单元测试前,代码走读的作用我想是任何自动化不能代替的,而且这对于发现初期隐藏的代码隐患,算法设计缺陷,以及公司的编程规范是不可或缺的。
2.中期软件GUI稳定前,功能测试还很依赖于手工,这将提供在此开发阶段产出的Build的在功能方面的稳定性。如果这时就用自动化,将会事倍功半。
3.后期回归测试中,虽主要依赖功能自动化测试工具,但在验证已修复的BUG及做一些复杂的Exploratory Testing(ET)任务时,手工仍然是最佳选择。

最后我衷心的祝福手工和自动化测试能够携手共创趋于无穷完美的软件,为人类的明天打造更美好的生活品质!

Vinly Zhao
作者: gp_jl    时间: 2008-11-5 12:45
原帖由 momoANDmonica 于 2008-11-3 17:43 发表
虽然自动测试工具有很多好处,但它不能解决所有测试工作中的问题,永远无法代替手工测试。应看做是对手工测试过程的一个补充。
★  工具也是软件,只能按照指令执行,而人可以运用想象力和创造力采用不同的方式改进 ...


支持momoANDmonica的观点。
1.自动化测试的适用范围是有限制的,例如小型的系统,完全采用自动化测试将是得不偿失的。但是像大型系统的性能,如通信、银行等则必须使用自动化测试进行。
2.自动化测试只有在版本稳定且功能实现的基础上进行,做回归测试的长处显而易见。
3.自动化测试也需要编写相应的测试工具或者测试代码,而只要是通过代码编辑出来的无论工具还是脚本,都可能存在自身的缺陷,而这有可能导致自动执行的误判;
4.再有就是成本问题,现在多数公司测试都采用人工测试和自动化测试结合的方式进行。这样一可以节省回归测试的人力,二可以复用已有的代码。但是如果自动化测试完全取代手工测试,那么成本开销将大于手工测试与自动化测试结合。
因此,自动化测试是测试的一个发展趋势,但是不可能完全取代手工测试。
作者: liaoyin1234    时间: 2008-11-5 15:36
标题: 未来手工测试和自动化测试并存
自动化测试永远不能完全取代手工测试,未来也是两者并存,两者需要结合使用才能测试完美。
作者: unioasis    时间: 2008-11-6 11:15
再发达的自动化测试也是基于手动测试的过程和方法的。除非有了完全不同于手动测试的理论和方法出现,否则自动化测试永远无法替代手动测试。就像机器人永远无法完全替代人类工作一样。
作者: liuqianshuai    时间: 2008-11-6 11:21
这个问题就好像在问,机器人能取代人吗?
程序都是人编的,等你啥时候搞清楚人自己再说取代吧
作者: love_yebin    时间: 2008-11-6 22:03
标题: 机器会思考

自动化工具要代替手工测试 ?怎么代替 ?我给你列举几个看看
场景1:如果自动化测试可以代替手工测试,自动化工具自身的代码工具自己可以完成
场景2:自动化工具自身的代码工具自己可以完成 ,是不是说软件开发完成后自动交给工具进行测试 ,其中测试各个阶段的plan和case谁来写?工具自动生成,那么参数化?工具自己搞定,
这样就是说机器不但会思考,还可以自己搭建测试环境,自动生成脚本,自己开发脚本,自己执行,开发完成后软件自动运行????
场景3:如果上面成立,社会是什么社会,无论是物质文明还是精神文明要达到多高的高度
你难道没有听说过最危险的不是杀人犯,而是知识分子吗?如果社会发展到那一步,社会上还有人存在吗???人类又在做什么?

其实这个题目出题者本身就知道,无论是工具如何先进都不可能代替手工测试的,出这个题目就是叫大家把自己的测试理论串接起来 ,当然你们也可以反驳我,不过 下面的场景 是我辩论的,支持指教 ,鄙人QQ 515931121
论点1:界面测试 怎么测?自动化工具怎么代替手工测试
论点2:文档测试 怎么测?自动化工具能发现文档里面的错误?这个怎么发现?中国那么多没有加标点符号可以说的通的句子你用自动化工具给我能测出来?比如: 下雨天留客天留人不留
麻烦你帮我测下
论点3:白盒测试  怎么测? 针对白盒测试,目前流行的流图 工具可以帮你搞定不 ?基本路径法?工具怎么判断?老兄你不是要用工具做完美的路径覆盖吧0 0,那么下面的语句帮我分析下 看看工具怎么分析
if((i>10||a>1||b>2||c>3||d<4)||(i+a>12||b+c>4||c+d>5))
论点4:单元测试  怎么测? 单元测试你别说不用桩模块,你也不用驱动模块哦 ,这些谁来搞?工具?那么代码岂不是也有工具来搞了 ?
论点5:集成测试 怎么测?  嘿嘿单元测试你搞定了,我问你 集成测试呢? 你怎么知道这些都吸怎么集成在一起 ?怎么集成出来的模块是我们要的?
论点6:系统测试呢 ??????机器不是能自动的给我们把系统搞定吧

哈哈,本人今天就说这么多,希望大家顶顶 !!!
作者: geogon    时间: 2008-11-7 12:15
标题: 这已是一个有定论的议题
这已是一个有定论的议题,业内众多专家学者已明确提出于“自动化测试永远也不可能取代手工测试”。这一观点在很多本测试书籍中也给予了说明,所以我不想在此反复讨论了。
作者: 彼得潘    时间: 2008-11-8 11:00
标题: 不要拿工具当饭吃
这个地球上还有比人的脑袋更聪明的东西吗?人的思维是没有逻辑性的,AI能行吗?你说也许几百年后、几千年后行,谁知道到那时候,还会不会有软件测试这行当。所以说,自动化测试拿来做做回归测试或者已经比较稳定的系统测试就OK啦,提高一下效率,也就实现它的价值了了。不要拿工具当饭吃,一个Tester关键在于思维是否够良好、够宽阔。
作者: rien2128    时间: 2008-11-8 11:39
标题: 自动化测试不可能完全代替手工测试
自动化测试不可能完全代替手工测试
自动测试的用例脚本都是人工写出来的,如果程序会自己编写测试用例脚本,那就可以取代.
作者: 佐伊    时间: 2008-11-10 10:41
现在科技这么发达,以后的事情谁也说不定.
作者: zhaoyingfan    时间: 2008-11-10 10:59
标题: 自动化测试工具与手工测试并存
从目前的情况来看,即使是有多么多么好用的自动化工具,也需要我们测试人员来编写测试脚本,不断完善和维护脚本。如果使用测试工具运行脚本时出现故障,不能确定是脚本的原因还是被测试软件的bug,我想首先最好的办法就是手工测试看一下,这样节省我们的时间。有些时候,由于各种因素,在软件开发初期,还是使用手工测试要比自动化测试更节约成本和时间,在开发中、后期再引入自动化测试会更好一些。
作者: 尛蟲蟲    时间: 2008-11-10 11:39
首先我明确一个立场
自动化取代手工是一种必然趋势
虽然种种目前现象,让许多人以为自动化不能完全取代手工
但是这其实只是一个假象,只能说的一点是目前的自动化不够完善,不够智能
但是随着我们认知以及技术的进步这种全自动化的测试方式会被更多人了解跟使用

又有人说了,自动化不是也要编脚本呢?
请他明白,编写脚本,录制脚本这些操作都是属于自动化的范畴的,因为其 目的是要为自动化的工作进行铺垫。
这里讨论的是自动化测试能够代替手工测试
并不是说机器能够代替人脑

请某些观点论者不要混淆自己的思路


另外请注意本期话题的问题中心

管理员说的是“终究会取代”这是一定的,但取代的只会是人工执行测试用例这一部份,而对于设计方法部份很难取代,所以这就是我为什么在不会编程就做不好测试的PK问题中认为:不会编程也能做好测试的原因所在,当你用编程取代人工执行测试用例后,编程者的地位其实就是取代了执行用例者的地位,这也是测试的编程的价值所在,但是真正的核心价值在与设计与方法,所以自动化终究会取代测试执行的!

[ 本帖最后由 尛蟲蟲 于 2008-11-10 11:41 编辑 ]
作者: sunshinelius    时间: 2008-11-10 12:58
标题: 中立观点
这个问题本身就有问题,一段没有上下文关联,没有具体应用背景介绍,没有概念解释的论述是不可能有明确答案的。正方和反方都可以从自己的角度来理解这段论述,并加以证明。
自动化测试首先要解决技术上可实现性的问题,再解决企业组织中成本收益的可实施性问题,最后才能真正成为对我们有益有利的自动化测试。夸大任何一个因素,都是纸上谈兵,空中楼阁。
1. 技术上可实现性问题
自动化测试包含两个要素,第一自动化,即软件本质,第二测试,为测试本质。说白了,其实我们是在开发一个软件去测试另外一个软件。但和一般软件开发不同的而且也最关键的是,我们不光是要开发一个测试软件,而且由于被测软件在生命周期内始终会发生变化,我们还要保证测试软件与被测软件相适应。所以自动化测试的最重要特征,是自动化测试的工作量=开发工作量+维护工作量。开发工作量可以一次性完成,而维护工作量却始终不断,直到被测软件在市场上消亡。(不少人总爱拿开发的可实现性来偷梁换柱做自动化测试的可实现性,这不是无知,就是狡辩)。
作者: sunshinelius    时间: 2008-11-10 13:12
因此,如果实现完全的自动化测试,必须有两个要素要控制:
1. 开发技术,使得测试软件能够通过接口来完全获知被测软件的信息,并进行操控,比如你要让脚本去操作一个web页面,你必须获得这个DOM接口。如果DOM不给你提供相应的接口,你就无法自动化来完成所有的工作(比如很多人反映,使用QTP无法获知某段文字或图像的颜色color 属性)
2. 测试技术,主要是被测软件的变化问题。想想:被测软件是永远不变化的么?或者它的变化是完全可控的么?
上面两个问题的无解,导致软件自动化测试只是在某个阶段,某个范围内才具有技术上的可实现性。
作者: sunshinelius    时间: 2008-11-10 13:15
因此,可以得出,这样的一个论断“自动化测试完全替代手工测试”无论过多少年,技术再如何发达,也是不可能实现的。只要软件规模不断发展,软件始终在变化。
作者: sunshinelius    时间: 2008-11-10 13:17
本来还想写第二个收益成本的考虑,但觉得这个问题实在没必要再去论证了。算了。对自动化测试有兴趣的朋友,可以发我的mail:sunshinelius@gmail.com
作者: weifei1031    时间: 2008-11-10 14:08
测试是一种人为参与的活动。工具终归是工具吧,只是提高效率而已,不能替代手工测试
作者: yetties2005    时间: 2008-11-10 16:20
机器永远是机器,永远只能做那些人们设定好的东西.
作者: meimei2008aoyun    时间: 2008-11-10 16:24
如果哪天机器人能代替人去思考,也许有可能吧。
作者: axxiao@sohu.com    时间: 2008-11-10 16:26
也有可能性,就是软件技术发展到能像人类一样思考的时候。
作者: ymn911    时间: 2008-11-10 16:26
标题: 未来手工测试和自动化测试并存
这个话题跟以前的机器人取代人,人工智能超越人类思考是一样的  没有过多的讨论必要了.
作者: ericazou    时间: 2008-11-10 16:31
随着技术的发展,相信自动化会更大范围的代替手工测试,但是自动化测试也是缘于手工测试,正如机器人是人类所制作一样,机器人永远超越不了人类的思维,同样自动化和手工之间的关系也是如此。
作者: 郁闷的我    时间: 2008-11-10 16:34
自动化测试工具与手工测试并存
我觉得是这样的,软件也在不停的开发.
作者: 郁闷的我    时间: 2008-11-10 16:34
不要全靠机器,人是最可靠的.
作者: allanhtt    时间: 2008-11-10 16:36
标题: 这讨论真没啥意思哦
自动化测试代替人?那得让机器和人一样思考,如果机器和人一样思考,那机器人的时代还远吗?
在说了,这样的讨论对实际工作真没多大帮助,还不如讨论讨论怎么改进测试技术,改进设计方法,提高测试效率的问题。同意我的点支持!
作者: liyongdong    时间: 2008-11-10 16:36
自动话测试还是无法替代手工测试的。
作者: 郁闷的我    时间: 2008-11-10 16:37
原帖由 allanhtt 于 2008-11-10 16:36 发表
自动化测试代替人?那得让机器和人一样思考,如果机器和人一样思考,那机器人的时代还远吗?
在说了,这样的讨论对实际工作真没多大帮助,还不如讨论讨论怎么改进测试技术,改进设计方法,提高测试效率的问题。同意 ...

这个问题也不可避免的嘛,精彩的地方是看大家的回答

[ 本帖最后由 郁闷的我 于 2008-11-10 16:39 编辑 ]
作者: annie_yang    时间: 2008-11-10 16:38
虽然自动化测试可以节省很多人力,也可以直接的提高部分测试的效率,但是自动化测试不是万能的,还是需要手工来测试完成部分工具无法作到的.
作者: annie_yang    时间: 2008-11-10 16:39
标题: 支持反方
刚,发错了
作者: 郁闷的我    时间: 2008-11-10 16:40
原帖由 annie_yang 于 2008-11-10 16:39 发表
刚,发错了

我也忘记选了,支持反方呵呵。
作者: 超越自我    时间: 2008-11-10 16:45
标题: 机器和人的区别!
自动化测试:就是利用工具来进行测试,但也要经过测试人员的思考,
手工测试:是人通过自己的思考,进行功能上的测试,
当然:自动化测试能代替人的某些工作,也提高了效率,但人想的问题当然是全面的,也更具有科学性,
我们用工具也是为我们节省时间,或者提高效率,
自动化测试不能代替手工测试,相反我们怎样更加地利用测试工具进行测试,也是人的智慧所在嘛!

作者: lovetest6    时间: 2008-11-10 17:19
这应该取决于要测什么,我们只能说自动化测试的比重会越来越高。
不能说谁取代谁。

就好比现代工业的机械化生产,难道手工做的刺绣就没人要了么?呵呵。
只要做的好,总是会有饭吃滴。

区别是吃饭的过程是否轻松。呵呵。
作者: 285220023    时间: 2008-11-10 17:54
标题: 工具只是工具
工具只是工具,不可能完全代替人的活动,只能解放人的一些活动,如界面有好性测试,工具时无法取代
作者: yangtesting    时间: 2008-11-11 09:33
标题: 随着时间,自动话测试将完全代替手工测试
我们知道测试的发展过程是通过工业发展过程得来的,
现阶段许多大型工厂生产流程都是全自动完成,这是因为他们发展到了一定阶段,技术与规范都已经到位,所有的产品都可以通过自动化来生产,成本与大幅降低,效率大幅度提升,这是未来工业发展的一种必然.

那么测试也是同理,现阶段做不了的事情是因为我们技术积累目前还不够,电脑发展到今天也不过短短几十年.未来自动话测试完全代替手工测试是必然的.有人说机器不会思考,死板,不能代替手工测试.我想说.那是因为现阶段我们的开发技术还不成熟,处于摸索阶段,测试重点还局限与功能方面.但是,你可以想想,在经过10年或20年发展,软件技术积累到一定程度,开发一套系统或软件可能仅仅需要点击几次就完成,并完全可以保证功能.这不是幻想.这是社会发展的必然.
作者: vickiren    时间: 2008-11-11 10:27
标题: 工具是人开发的,人才是测试工具主题
一切的自动化测试工具,都是由人 敲打数千行代码 集合而成,它自己不会变也不会动,
这一切都是人在驱动,是人手动的结果,测试过程也一样,不管自动化工具以后多么的强大,毕竟是人开发的,是会有缺陷的,更多的问题还是需要我们有大脑的人,去思考,去发现问题。那么手动即将存在。
作者: 疯都疯了    时间: 2008-11-11 11:04
手工测试永远是不可取代的我也同意这点。
不过我习惯先自动化检测,这样可以提高效率,最后再手工检测一次验证结果
作者: chengxq    时间: 2008-11-11 11:17
其实怎么来说呢,个人感觉自动测试和手工测试的界限应该先弄清楚
什么样的是自动化,如果说从头到尾没有人的干预,那可能实现的时间会很长或实现不了
但是如果说自动化到某种程度,我想那是可行的,而且也是应该的
作者: robinfall    时间: 2008-11-11 11:49
标题: 不可能替代,只能是补充和降低手工测试的工作量
除非机器人可以取代人的时候
作者: luna_jia    时间: 2008-11-11 16:53
自动化测试的手工测试只是测试的两种手段,任何一种手段都有其优点,也有其缺陷。
1、自动化测试在性能方面的模拟,不是手工测试可以完成的。比如并发、大流量等,但在功能测试方面,自动化不大可能模拟得到人脑的智能,如果生硬地套用脚本去完成相对简单的功能,是出力不讨好。比如写个脚本花了一天,写个用例手工执行没准两小时就完成了。
2、既然是两种手段,就没有绝对地好不好,取代不取代的问题,只有合不合适的问题。测试的最终目的是尽可能多地发现程序中的缺陷,根据目的来选择手段,而不是为了手段去改变目的,如果为了自动化而自动化,可能有些人工很容易发现的问题,测试工具反而忽略掉了。
3、工具无所谓好坏,手段也无所谓好坏,关键是什么人在使用。另外,在中国还有一个国情,就是:人是最便宜的工具哈,LR、QTP之类的一个License要很多钱的。扯远了。呵呵

[ 本帖最后由 luna_jia 于 2008-11-11 16:55 编辑 ]
作者: fiorentina06    时间: 2008-11-11 23:18
标题: 反对以此为命题,完全是浪费时间
早在上个世纪,英国工业革命开始时,人们就在谈论,随着自动化的发展,人们会不会都失业了,可是,让我们回顾一下历史,会让我们惊奇的发现,随着工业文明的发展,人们不但没有失业,反而过的更好了,就业率更高了,生活的更幸福了,为什么呢?那是因为,只有人才是这个世界的主人,自动化是如何产生的,使人们为了方便作业,为了从一些繁杂的劳动中解放出来,从而去投入其他更有价值的劳动中去,所以,自动化包括智能机器人应运而生;
    那么,在让我们回到这个自动化测试和人工测试的命题上来,试想一下,自动化会代替手工测试吗,我想稍有思想的人都会知道答案的,自动化有思想吗,它会进化吗,他除了能按照我们给它的思维来进行运行,能做别的吗?没有把我们的思想灌输到工具上,它能运行吗?也许有很多人会说,工具会越来越智能的,那么在让我们来回顾一下好莱坞的一部大片《机械公敌》在那部影片中的电脑够智能的了吧,还可以进化,可是结果呢,人类还是这个世界的主宰,这说明说明,说明只有有思想的,有思维的,才不会被取代,才会进化,才能够永远的做这个世界的主人,因此,人工测试是永远不会被取代的!因为做人工测试的主体是人,而人是这个世界的主人!也是最有思想的!所以,以后像类似的问题,希望不要在提了,没有任何讨论的意义!还不如,花点时间在如何让工具更好的为人工测试服务上来呢!
    本人初来咋到,不恭之处,敬请谅解
作者: NapoleonWang    时间: 2008-11-12 11:30
标题: 这个问题需要仔细分析,不能简单说行不行。
分析:
首先,应该明确一个前提:那就是自动化测试和手动测试都是软件测试的手段,不是目的,测试的目的是要保证软件的质量。所以,如果在某些情况下,当一种测试手段不能完成目的而另一种可以时,选择能够完成任务的测试手段是必然选择。比如,自动化测试很难判断播放器产生的视频是否流畅,而手动测试可以;手动测试很难完成对一个服务器上的服务程序的压力测试,而自动化测试可以。
其次,选择自动化测试手段还是手动测试,甚至以后可能出现的第三种手段(只是打比方,现在我也不知道它是什么,但是有可能出现)的另一因素,是要考虑:在完成保证软件质量这一目的的情况下,使用那种手段能够达到低投入高产出。甚至从更大的范围来看,要使整个软件的开发、销售和售后过程达到低投入高产出,也就是经济学上所说的帕累托最优。

选择不同测试手段的成本主要有两部分,一种是测试的开发成本,另一种是测试的运行成本。测试的开发成本是建立测试环境、工具和测试用例过程中产生的成本,通常是建立完成后便不再需要新的投入;而运行成本则是从头到尾将测试运行一遍、产生结果并针对错误生成能够重现的bug的成本,通常每运行一次都需要投入。对自动化测试而言,通常是开发成本高,运行成本低;而对于手动测试来说,通常是开发成本低(几乎没有),而运行成本高。

从经验上说,如果要测试的软件是完全与机器交互的程序,比如驱动程序、后台服务程序等等,那么自动化的难度相对较小;如果要测试的软件更多的与人交互,那么自动化测试的难度就会比较大。如果要测试的程序后续的二次开发比较少,甚至没有,那么测试的运行次数就会比较少,那么选择手动测试运行成本就不会很大;如果相反的话,那么最好选择自动化测试以降低总体的运行成本。
作者: 乐游    时间: 2008-11-12 13:27
标题: 感觉这个话题没什么太大的讨论意义
这种话题根本不需要讨论的,还是看看有这个话题能不能引出大家相关的火花来吧,
作者: 佐伊    时间: 2008-11-12 13:49
好多厉害的.
作者: 迎面一板砖    时间: 2008-11-12 14:02
回错地方了!~

[ 本帖最后由 迎面一板砖 于 2008-11-12 14:04 编辑 ]
作者: 迎面一板砖    时间: 2008-11-12 14:05
自动化只能帮助手动测试,取代那是不可能的。
手工测试就是由人去一个一个的输入用例,然后观察结果,和机器测试想对应,属于比较原始但是必须的一个步骤。
使用(自动化测试)工具来进行的测试,一般不需要人干预.
在网上主要有两种定义:
Automated Testing/Test Automation:
(1)Testing employing software tools which execute tests without manual intervention. Can be applied in GUI, performance, API, etc. testing. 使用自动化测试工具来进行测试,这类测试一般不需要人干预,通常在GUI、性能等测试中用得较多。
(2)The use of software to control the execution of tests, the comparison of actual outcomes to predicted outcomes, the setting up of test preconditions, and other test control and test reporting functions. Commonly, test automation involves automating a manual process already in place that uses a formalized testing process.
使用软件来控制测试的执行,实际输出和预期输出的对比,测试前提条件的构建,以及其他测试控制条件和测试报告功能.通常,测试自动化涉及自动化对一个已经使用了正式的测验流程的手工过程。
显而易见,第二种定义具体,且涵盖了多数情况,特别是只提及软件,而不是一定是'自动化测试工具',而且不一定自动化测试步骤才叫自动化测试,很多情况下测试前提条件的自动化也是很重要而且很值得自动化的.
作者: daixing521    时间: 2008-11-12 14:39
我的观点:自动化测试终究会代替手工测试。
只是时间的问题
想最初人们谁能想到现在人们能在天空飞翔,尽管是借助工具,人类的智慧是无限的。
想最初没有计算器之前,在古代人们都用算盘进行计算,现在呢,都用计算器,帮你进行计算。
想想很多以前都没有的,而现在都以前实现的,说明人类的智慧在不断进步。
最终自动化测试会代理手工测试,社会文明是不断进步的!
作者: bzfyhfyh    时间: 2008-11-13 10:57
标题: 我的对这样的话题,保持中立态度。
人之所以区别其他的东西,主要是因为人有主动性意识。也就是说人能主动去改变自己的生存环境,让环境去更加适应人的需要。而现在的所谓自动化的东西,还是没有主动意识的,都是在被动的完成人事先给它们规定好的任务而已,所以自动化的东西是不会完全代替人的,人的思维方式和主动意识是任何东西的代替不了的。试想一下,如果没有人的主动意识在现在的测试工作里,那将会怎么样?其他的先不说,但凡软件的易用性,这一项怎么测试呢?

我们越来越多的依赖于各种测试工具来完成我们的测试工作,那只是用它去完成测试工作的一部分,而不是全部,毕竟它只是我们的完成测试工作的工具,而不是它完全替代我们去完成测试任务。因为东西不人,还缺少人所拥有的思维和主动性。

到现在为止它们还将只是我们的工具,而且这样的情况也将维持很长时间,直到它们也能像我们一样,就像科幻影片里的那样,机器人也有思维和主动意思的时候,也许自动化测试就可以完全代替手工测试了。

所以我的对这样的话题,保持中立态度。
作者: woaimouse    时间: 2008-11-13 17:37
标题: 自动测试不会取代手工测试,
手工测试永远会在测试中占主导地位,大部分功能还得需要手工来测试,自动测试工具也是人编出来的,它也存在缺陷。
作者: bingling_11    时间: 2008-11-14 08:55
标题: 自动化测试无法取代手工测试
自动化测试固然很重要,也可节省测试时间以提高测试的效率,但是自动化测试永远无法取代手工测试,因为有一部分测试是不能录制的,并且需要人为去操作!
作者: travelinrain    时间: 2008-11-14 10:16
自动化测试无法取代手工测试, 主要表现在以下几点:
1、手工测试中有一些与测试人员个人的习惯相关的不确定因素。比如现在的回复帖子,我可以先输入内容,然后选择表情,最后输入标题按照这样的顺序操作,也可以按照另一种方式操作,这样的操作顺序就可能发现bug,  而自动化测试如果遍历那么多种排序组合,代价是相当大的。
2、自动化测试脚本是按照手工测试的常用的方法去完成的,这和计算机无法代替人脑是一样的道理。 自动化测试是为了提高效率而采取的一种方式, 不是测试的完全解决方案。
3、目前对于UI的测试,自动化方式很难完成,即时能部分完成,代价也是很大的,相信我们的从眼睛看到UI异常到反馈大脑的反映速度是远远高于自动化的。
作者: still    时间: 2008-11-14 13:31
要是能够完全取代的话,就太好了,我就退休了,呵呵
作者: weifei1031    时间: 2008-11-14 17:26
!!不要拿自动化测试和手工测试来相比,而应该把自动化测试当作是对测试员能力的扩充,能够完成手工测试所不能完成的工作!
作者: jumptor    时间: 2008-11-15 10:51
标题: 软件复杂多变,开发多变,自动化测试难以进行全面测试
当今软件功能越来越强大,其复杂性和多变性是可想而知的,即使是人工+自动都难以全面的完成测试,何况仅进行自动化测试,是绝对不可能完成进行测试的,辅以人工测试是必须的。人工智能始终无法完全替代人脑。
作者: Mr.chenzx    时间: 2008-11-15 12:31
界面是否美观?布局是否合理?操作是否方便?
如何用自动测试工具完成啊?

所以支持反方!
作者: EVA1987    时间: 2008-11-16 22:03
标题: 只有共存没有取代
自动化测试是有更大的空间但是弊端也是很明显的。
就像以前大家渴盼家居智能化,虽然现在的科技已经可以让我们的生活在特定的程序下显得很悠闲,但是毕竟程序的设计是由人性思维定义的。然而伴随着人性思维的不断发展,自动化测试也是只能在被动的更新,而起着主导作用的还是人性思维。
所以我认为手工测试是人性思维的最好的体现,但是我也不否认自动化测试会成为测试人员提高测试效率的很好的助手,并且作为软件测试人员来说,自动化测试工具越是完善,对我们的帮助就会越大,所以期待着它的更新进步!
作者: 猫猫的拖鞋    时间: 2008-11-17 10:31
我来分析几点:
1、工具有很大的局限性,尝试使用过的工具均毛病重重而无法代替手工测试。
2、就算未来10年工具有很大很明显的进步,但是那时候开源的工具就会非常至少,好的东西自然要付费,现在又有多少公司愿意花钱去买工具进行测试呢。
作者: yzylion    时间: 2008-11-17 19:51
标题: 自动化测试与手工测试
现在竞争越来越激烈,作为软件产业更是如此,为此越来越多的软件工作用缩短项目周期和减少资源使用,催促测试尽快又好的完成来增加自己的核心竞争力。同时,由于现在的软件的复杂性,多是使用的迭代的开发过程,所谓的迭代指的就是,在较短的时间间隔内生产出多个可执行,可测试的版本,对于这样的开发情况,测试的工作量将会越来越大,因为对于每一个迭代出来的软件版本我们都需要进行系统的全面的测试,当中就有一些是重复的,冗余的,所以,自动化测试被人们越来越多的接受和期待。首先我们要弄清楚什么是自动化测试?按照软件自动化测试生命周期方法学来说:软件的自动化测试定义的就是各种测试活动的管理和实施。

   引入自动化测试有一定的必然性,表现在以上的几个方面:

   一:测试本身是复杂的一项工作;

  二:有些测试是手工无法实现的,比较突出的有性能方面的测试;

三:人工测试较难提供精确的测试结果,需要提交要不就是在源代码中加入读取测试结果的特速变量或者函数,但是这样做,就无形中增加了开发人员的工作量,同时维护也比较的麻烦,要同时维护两个版本,一个是提交给用户使用的版本,一个是测试的版本;例如一种方法就是使用工具,

四:测试是一项重复性很高的工作,对于一些不需要人的智慧去判断结果的测试可以引入自动测试来提高测试的效率,准确率,缩短测试的周期和减少测试人员的工作量,实现无人值守,自动执行;

说了这么些自动化测试的好处但并不代表自动化测试就是神话了,有一些对于它的认识误区是需要注意的,例如:根据软件自动化测试生命周期方法学来说,自动化测试分为以下几个阶段:

一:自动测试的决定;

二:测试工具的获取;

三:自动测试的引入;

四:测试计划,设计和开发;

五:测试的实施和管理;

六:测试的评审和评估;

以上的决定,计划的制定,测试需求的制定,开发出的具有可重用性,可维护性,简单性,健壮性的脚本等工作都是离不开人的支持和参与的

同时自动化测试也并不是适合所有的测试,现在的测试工具就目前来说还没有任何一款能够支持所有的系统环境,所以自动化测试与手工测试是相辅相成的,谁都不能独立的存在。

例外在引入自动化测试工具的时候个人建议如下:

是否需要引入测试工具,需要的话,评审需要的测试工具类型,评审通过之后,对于候选的测试工具进行调查和评分,之后进行肯定性的评估结果,通过就引入工具并且应用于整个工程,总之我们引入的测试工具是要能适应企业全部系统工程环境的,最大的发挥出工具的作用就是了。



以上为原著,谢谢阅读
作者: chengxq    时间: 2008-11-18 09:21
标题: 古代人能想象飞机吗,测试开始就有自动化吗,问题在于自动化的程度
今天事情不多,就在说一点,就像刚才楼上说的,对于界面美观,布局合理等,个人认为只要有标准,我们在制作的时候,也会有相应的标准,如果没有统一的标准,我想我们也肯定会无法进行测试,既然有标准,我想在未来的时间里,这些东西肯定也会执行,可能执行的时候,不能人性话点,但是我想肯定能够实现,就像以前的中国,清政府,连火车都不知道东西,以为是牛拉的车,那个时候的人,他们能想象现在的地铁,火车,飞机,更不用说航天飞机了,所以我们现在也是,问题的关键不在于,最终是否实现全部的自动化,而在于自动化的程度,我想现在有人说共产主义,说社会主义,能有多少人相信!但是谁敢说没有可能呢?我想自动化的程度肯定越来越高,越来越人性化,至于最终替代人工,我想那天能够实现电脑给人做饭,洗碗等,那肯定能实现最终的自动化,但时间,如果时间超过我们的期望值那这个讨论有何意义呢?
作者: hejia0105    时间: 2008-11-18 11:26
明显不会
就象机器人一样,会不会代替人类呢!
作者: ivanland    时间: 2008-11-20 09:38
自动化测试是不可能完全取代手工测试,尤其是功能测试上,在产品的初期,其功能远未达到稳定的状态,如果用自动化测试工具来进行测试,由于产品的不确定性势必带来脚本的大维护量,增加测试成本,这对于很多从事功能自动化测试工作的朋友来说应该是都有同感。初期采用手工测试,中后期采用自动化测试,这种模式才是一个较为实际的模式。
作者: fenxia    时间: 2008-11-21 15:08
标题: 自动测试不会取代手工测试
自动化测试终究无法取代手工测试,因为手工测试是测试过程中最基础、最基本的测试,好比一楼大楼的地基。虽然现在的自动化测试工具优化了手工测试,提高了测试效率,但是自动化测试的执行者-计算机程序终究还是机器脑,而非人脑,因此具有很大的局限性,无法完全取代手工测试而单独完成任务。
      相反,手工测试虽然效率不如自动化测试 ,但由于是人工执行的,因此较为灵活、有弹性,测试过程永远需要手工测试。
      自动化测试无法取代手工测试,又好比用电脑打字和手工写字,虽然电脑打字优化了手工写字,但电脑打字终究无法取代手工写字,现实中很多地方仍然需要手工写字,比如文件签字、快速笔记等,因为它可靠、真实、方便快捷、成本低、不能随便被取代。手工测试正是具体这些优点。

[ 本帖最后由 fenxia 于 2008-11-21 15:10 编辑 ]
作者: fenxia    时间: 2008-11-21 15:11
标题: 自动测试不会取代手工测试
自动化测试终究无法取代手工测试,因为手工测试是测试过程中最基础、最基本的测试,好比一栋大楼的地基。虽然现在的自动化测试工具优化了手工测试,提高了测试效率,但是自动化测试的执行者-计算机程序终究还是机器脑,而非人脑,因此具有很大的局限性,无法完全取代手工测试而单独完成任务。
    相反,手工测试虽然效率不如自动化测试 ,但由于是人工执行的,因此较为灵活、有弹性,测试过程永远需要手工测试。
    自动化测试无法取代手工测试,又好比用电脑打字和手工写字,虽然电脑打字优化了手工写字,但电脑打字终究无法取代手工写字,现实中很多地方仍然需要手工写字,比如文件签字、快速笔记等,因为它可靠、真实、方便快捷、成本低、不能随便被取代。手工测试正是具体这些优点。

[ 本帖最后由 fenxia 于 2008-11-21 15:13 编辑 ]
作者: lgwmlx    时间: 2008-11-22 15:06
这个问题还需要辩论吗,很明显,自动化测试无法取代手工测试,在设计自动化测试案例之前,你必须要手工跑一次,知道系统的功能和流程正确与否。
作者: lxg0810    时间: 2008-11-29 09:52
自动测试不可能完全带动手工。
人是有思维的,电脑是没有思维的,
工具可以执行测试的过程,分析还要人员的思维。
作者: 曾经的我    时间: 2008-12-2 16:28
标题: 自动话测试不能取代手工测试
自动话测试也是根据人的设定来工作的 你怎么安排他,他怎么工作,所有自动化测试只不过省去了人的一些劳动力而已,然而自动话测试在没有人的设定下是有很大局限性的,多有自动化测试是不可取代手工测试的,除非自动化工具拥有人的意识。
作者: centurystone    时间: 2009-1-5 14:01
标题: 支持反方
虽然自动化测试在日新月异的发展。但我们不难发现,自动化测试是建立的手工测试基本完成的基础上的。如果没有充足的手工测试,自动化测试从何入手,既然编写了手工测试所包含的所有功能点测试,但当我们编写完成这份自动化测试脚的时候恐怕产品早已经过期了
作者: kf11859    时间: 2009-4-24 09:35
只想请问正方,全部都是自动用例,自动测出来的产品,你们敢拿出去发布吗?
作者: abedd    时间: 2009-9-25 16:31
目前在进行手工测试,很少接触自动化
作者: cs2008hust    时间: 2009-11-5 23:00
和谐共处!
作者: cjh0901    时间: 2009-11-6 11:43
1、这个问题就像是未来是机器人统治人类,还是人类统治机器人。
2、自动化测试的基础是手动测试的,自动化测试的输入和输出是需要提前设定的。而自动化测试是在手动测试的基础上,进行加强、优化。而手动测试的层次会越来越高。就像898×799×999×333这样的算术计算,我们以前用手,现在有计算器了,但是就不需要人
类了吗,不是,而是我们可以将我们原来用于进行复杂计算的时间,用于更深入、更高层次的研究。
3、例如:当我们将手动测试由自动化测试实现了,我们就要像如何让自动化测试的效率更高、错误更少,如何让自动化测试更符合
手动测试。我们也可以从繁琐的重复劳动中抽出时间,考虑考虑界面美观、客户易用性等问题了。
作者: shenzehua888    时间: 2010-7-13 10:37
标题: 自动化测试终究是有限的
我不否认自动化测试在很多方面有很多的优势,但是:
     1.自动化测试“工具和脚本”是人编写的,所以有缺陷,总会有想不到的地方,不能很好的测试程序;
     2.在懂得编程语言的测试人员中,手动测试能发现自动化测试未能发现的错误;
     3自动化测试的局限性很难改,几乎是不可能扩展到人的思维的发散性;
     4.我个人认为自动化测试只能保证批量程序的质量,对特殊要求的程序还是手动测试更有价值;
当然我这些观点,是在电脑没有突破机器的极限的前提下,如果电脑拥有了拥有了智能,懂得创新,能够拥有独立的思维能力,不过这事不可能的,因为当电脑拥有这些属性的同时,也就会犯错,出现当机了。

[ 本帖最后由 shenzehua888 于 2010-7-13 10:45 编辑 ]
作者: 春天梅花    时间: 2011-5-5 13:47
无法取代
原因:手工测试成本低,无需购买工具 除非公司小用盗版的
     自动化测试也是需要手工去调配一些东西,自动化测试不是机器自动还是需要手来劳动指挥
     有些小项目没有必要进行自动化测试 班门弄斧没必要
作者: jiazurongyu    时间: 2011-5-21 22:38
自动化 脚本写的不好 ,比程序写的不好 危害还大
自动化不少走GUI的,版本一变更就完了
作者: oxygen001    时间: 2011-7-15 12:25
自动化测试好是好,就是不能发现缺陷,呵呵! 我觉得:预期招一批人过来做自动化测试,还不如招一批人,在项目立项的时候,安排他们去全国各地旅游,等项目结束后,再让他们回来.等下个项目开始的时候,再安排他们去旅游 ....

反正项目跟他们没有关系.

自动化测试的目的就是对外宣称:我们公司也有自动化测试.只是他们去旅游了,等项目结束后,他们就会回来!!!
作者: oxygen001    时间: 2011-7-15 12:27
本帖最后由 oxygen001 于 2011-7-15 12:32 编辑

有2个测试是必要的1)手工测试;(2)性能测试.
有1个测试是花瓶:功能自动化测试!!!
白盒测试和黑盒测试 必须分离,即 做白盒测试人 就不要做黑盒测试,做黑盒测试的人就不要做白盒!!!!  除了忙不过来之外,一个根本原因是:保持思维的独立性!!! 当然在项目结束后,做白盒的人和做黑盒的人可以互调!!!

TMD!!! 现在的测试论坛 混进了很多 苍蝇 --- 程序员! 这帮GRD整天在这里想当然尔 以及 胡喷! 一个不懂测试和不理解测试的人 狗嘴里面能吐出象牙来么? 简直在这里胡说一通!!!
作者: oxygen001    时间: 2011-7-15 12:36
还有:我发现测试论坛的一个不合理的问题:
最新发表的帖子应该放在第一页 最上面 , 排序不合理啊
作者: yintianyouqin    时间: 2012-3-14 09:27
自动化不可能完全取代手工测试,人的主观能动性才是最有价值的东西。
作者: ttkk    时间: 2012-3-19 12:36
回复 30# 尛蟲蟲
作者: rose8561900    时间: 2013-3-22 13:49
自动化测试不会取代手工测试
测试分很多级别,功能测试,集成测试,系统测试,可接受性测试
自动化测试进入的阶段一般是集成测试的阶段,或系统测试的阶段,这个需要依据不同的项目而定
在功能测试阶段,功能都不稳定,因此功能和页面都不稳定,无法开展自动化测试的工作
所以只有到集成测试阶段,各个功能都稳定了以后,才能开展自动化测试工作
并且还有以下几种情况都不适合自动化测试
a。对于E2E的测试用例,功能涉及太多,不好进行自动化测试
b。对于涉及太多接口的测试,无法进行自动化测试
c。功能太复杂的测试用例,也不好进行自动化测试
d。当一个功能需要快速被开发的时候,也不适合自动化测试,因为自动化测试页需要花时间

进行自动化测试还需要考虑的一些方面:
1.自动化测试代码需要专门一个人来维护,但是目前很多公司或项目的情况是,自动化写好了,无人搭理。等要用到自动化测试的时候,再运行自动化测试代码,代码已经不能够工作了
2.当页面或需求有改变时候,需要有人来主动告知自动化测试小组,否则自动化的工作会很被动
3.需要有良好的自动化测试框架,这样自动化的代码才能更好地被维护起来
作者: 程序媛8008    时间: 2015-1-28 15:34
将自动化取代手工,其实这个不就是自动化存在的目的麼?而且是未来的发展方向,以后技术这么发展都是未知数,感觉这个论题太一概而论的




欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2