51Testing软件测试论坛

标题: [你问我来答第26期]：web开源自动化测试(已结束) [打印本页]

作者: lsekfe 时间: 2012-9-3 13:38
标题: [你问我来答第26期]：web开源自动化测试(已结束)
[attach]81217[/attach]
论坛ID:wuyingmin
真实姓名:吴颖敏
擅长技术领域:开源自动化测试, 性能测试, 测试开发
现任公司：大众点评
现任职位：测试架构师
工作经验： 5年
主题：web开源自动化测试
项目经验：www.prn.com 自动化测试 , webgame 自动化测试 , IBM maximo 性能测试

[attach]81218[/attach]

各位会员可以在9月10日前以回帖的方式向客座专家提问。
（请大家围绕本期客座专家的擅长领域进行提问、探讨）
客座专家将在9月11日—9月30日为大家集中解答。
机会难得，欢迎大家踊跃提问！

作者: lsekfe 时间: 2012-9-3 13:44
新一期欢迎大家踊跃提问啦！

作者: chenfeisoft 时间: 2012-9-3 16:31
那能聊聊测试架构方面的东东么？

作者: wuyingmin 时间: 2012-9-3 16:35
本帖最后由 wuyingmin 于 2012-9-3 16:36 编辑

测试架构大部分主要倾向于框架和测试工具类的实现，可以根据您测试的东西进行分析。根据产品的架构进行针对性的实现，只是更多的考虑产品化实现。类似自动化框架需要考虑易用性，扩展性与持续集成的结合。
工具类更多的考虑如何面向企业内测试，开发以外的用户，更多的产品化工具。

作者: lsekfe 时间: 2012-9-3 16:48
回复 4# wuyingmin

建议弄个头像哦~

作者: xu1314 时间: 2012-9-3 17:05
请问如果开展自动化测试，在一个毫无经验的团队中，如何起步？

作者: xu1314 时间: 2012-9-3 17:05
谢谢

作者: fish531 时间: 2012-9-3 17:23
ios有什么好的自动化测试工具吗？

作者: wuyingmin 时间: 2012-9-3 17:58
回复 6# xu1314

在毫无经验的团队中开展自动化测试需要好的切入点，某件事的推动，另外需要的是需要一个易用通俗的框架，比如 selenium2.0(webdriver)+testng等，从易用性开始，培训辅助，尽量从框架本身做掉更多的事，让业务人员写出来业务测试用例更加的简单。

作者: wuyingmin 时间: 2012-9-3 18:06
回复 8# fish531

IOS 现在的工具主要分两种，object-c同构的，主要是基于ocunit来做一些扩展，另一种是针对UIautomation提供的API进行相关的操作,从长远性及效果来看同构的框架对于IOS原生的支持更好一些，只是不是那么容易些。UIautomation的话现有框架比较多。各有各的好处和局限性。

作者: luoliang 时间: 2012-9-3 21:01
本人有2年开发经验，现在想转自动化测试，无头绪，能指点下不，该怎么走？先谢啦！

作者: harryzhang2522 时间: 2012-9-3 22:15
向专家请教一下个人的一些疑问：
1、请问您实际中使用较多的Web测试框架都有哪些，针对不同的web类型，如电子商务型，类淘宝的；比如社区类型，类BBS的；比如企业级的内部系统，类CMS的；它们之间的测试框架是否一致，或者有什么可以通用的框架；
2、请结合您的项目经验谈谈在web自动化测试的过程中需要注意的问题：比如如何处理自动化测试过程中为测试开发脚本付出很多却并未产生很大的实际效果；
3、在利用开源的自动化测试框架进行企业的自动化测试时是否存在风险，如何评估它对企业的自动化测试带来的风险，有什么评估参考吗

作者: xu1314 时间: 2012-9-4 09:49
回复 9# wuyingmin
嗯之前想的也是用selenium ，但是具体不了解。目前感觉还是尽快了解下selenium，以及其他的自动化测试框架，在来看后面如何推，通过工具入手，在推动后续的自动化。比较简单可靠些。谢谢wuyingmin的解答。在这种情况下，这个过程中有没有什么特别注意的地方?

作者: wuyingmin 时间: 2012-9-4 12:29
回复 11# luoliang

开发转测试的话更多的可以以测试流程为主，各个阶段的自动化框架的选型，web or mobile 然后尽量将自动化测试和流程相结合，最后持续集成。

作者: wuyingmin 时间: 2012-9-4 12:41
回复 12# harryzhang2522

answer1:电子商务类的自动化框架比较多，涉及的面比较广，webdriver的ui自动化测试，webdriver的css,js,ajax异步校验触发自动化测试;社区类型，类BBS的，webdriver也是hold得住的，更多的是从用例可行性，验证有效性上下手;CMS的话更注重流程和内容方面的测试，对于网页展示如果有需求webdriver也是OK的，不过也是可以考虑htmlunit做些非基于UI的测试，这样对于流程自动化更有效。

answer2:以结果出发，测试开发产出比，尽量以数据的形式展现出来，每个迭代之间比较可以看出框架可重构的点。以经验出发，在测试框架设计之初，尽量做到分离，webdriver的pagemodel是一种动态的分离，对于config文件property文件的分离是静态的分离。

answer3: 风险每个项目都会有，成功与否很大程度取决于推动和认同。测试用例覆盖率，测试代码覆盖率，每个持续集成迭代的BUG率都可以客观的反应自动化的效率，但是普通的自动化测试更多的是回归，探索性的自动化测试将能更多的发现BUG

作者: lsekfe 时间: 2012-9-4 13:36
嘉宾回复的非常及时，不错哦！

作者: yaonupt 时间: 2012-9-4 15:09
好像需要学习一下用VS C++写测试AW
但是，我有没有编码经验啊，不知道应该如何下手

请指教，谢谢。

作者: flower_lanyi 时间: 2012-9-4 16:34
游戏测试中如何开展自动化测试和性能测试呢？
谢谢！

作者: wuyingmin 时间: 2012-9-4 19:02
回复 18# flower_lanyi

游戏测试主要可以分层考虑，UI+SERVICE，service层可以做自动化和性能测试，UI层更多的手工测试辅助，根据不同的前端代码实现flash or js进行相应的框架选择执行即可。

作者: yubiao584521 时间: 2012-9-5 09:04
大众点评网怎么也出现账号泄露了？安全机制做的不到位还是没有进行安全性测试呢？

作者: 云层 时间: 2012-9-5 15:50
很好的话题帮顶

作者: mvtech 时间: 2012-9-5 16:48
想问楼主几个问题：
1、像web系统在自动化上怎么结合代码静态安全分析？
2、主动安全与被动安全对于楼主的公司在质量上是啥战略？
3、web审核、渗透都用什么工具进行检测和分析？

作者: wuyingmin 时间: 2012-9-5 17:20
回复 22# yubiao584521

安全方面的问题，需要多方面的测试，由流程引起的还是由于技术引起的，通盘扫描对于有流程引起的很难有check，其实安全问题防范为主，上乌云和其他知名的需要修。

作者: 104509426 时间: 2012-9-5 18:02

作者: wuyingmin 时间: 2012-9-6 12:52
回复 22# mvtech

1.自动化主要在生命周期deploy之后做，代码检查根据不同规则在compile之后做。
2.主动安全主要在测试阶段和运维阶段进行，被动安全主要是信息收集及分析，相应时间等方面。
3.web审核，渗透有不少可开发的二次框架，可以根据自己的熟悉度进行选择。

作者: yubiao584521 时间: 2012-9-7 09:46
回复 23# wuyingmin

其实我感觉，目前国内对这方面的意识不强，重视不够！

作者: qingyu032400 时间: 2012-9-7 14:40
用RFS这样的框架来做自动化测试，怎么样才能维护这些测试用例呢？
现在的很多网站页面都一直在变，如何构建一套行而有效的实施体系？

作者: 测试路途 时间: 2012-9-9 09:46
您好，想请问一下性能测试常用分析指标以及经验型的值；拿到这些值又该如何分析定位问题，这个有什么思路方面的规律吗？

作者: wuyingmin 时间: 2012-9-10 09:43
回复 26# yubiao584521

是这样的，可能涉及到money的业务会重视一些，重要是的安全测试更多的是被动安全

作者: wuyingmin 时间: 2012-9-10 09:46
回复 27# qingyu032400

RFS的话，如果是python原生做的，更多的利用好python的dict进行配置和自动化代码的分离，更好的将自动化代码进行封装。将配置做成页面配置化的，将自动化代码做成单一step化调用的，然后结合相关python输出junit报告进行持续集成的hundson构建

作者: wuyingmin 时间: 2012-9-10 09:52
回复 28# 测试路途

性能分析的结果指标关注点根据系统的不同不一样。web server和应用服务器的CPU .MEMORY,IO,NET, 数据库服务器的cpu,memory,io,net,数据库IO,数据库语句的RATE等等。分析定位问题不是靠数据看出来的，更多的是从应用服务器log,web服务器的log,数据库的一些查询排序分析定位问题。比较重要的是对于性能测试必须保证环境的一致性。

作者: wuyingmin 时间: 2012-9-10 09:54
回复 13# xu1314

对于初学的时候注意的要点更多的在于培训和落实，使框架更加easy,代码封装更加好，这样业务线使用起来的隔阂会更少。

作者: 啊兹穆 时间: 2012-9-10 13:38
前辈你好，我做测试一个月了，做的是一个区域政府机构的WEB管理系统（全部手工测试），功能点比较多，重复性很大。目前这个系统的整个测试全由我一个承担，在写测试计划和用例的时候有些不知所措，现在虽然完成了用例部分，但是自我感觉很凌乱，不够清晰、系统。想请教一下前辈，指导我一下，万分感谢！

作者: test_fairy 时间: 2012-9-10 15:28
想请教一下：目前的性能测试要搞好，有哪些辅助工具？（除了LOADRUNNER以外）
还需要深入了解哪些方面的内容？

作者: wuyingmin 时间: 2012-9-11 09:04
回复 34# test_fairy

性能测试是需要比较广的知识面，辅助工具有很多，泛linux的性能监控类似Nmon,数据库的工具，这个比较多各种数据库都不太一样，主要关注连接数，链接相应时间，链接sql查询时间等等，服务器端就看具体的实现逻辑了,jprofile是不错的调优工具（针对java）

作者: wuyingmin 时间: 2012-9-11 09:07
回复 33# 啊兹穆

这个主要从roadmap图进行，从路线图开始，从UML图开始，这样你会有清晰的思路。用例更多的应该是由这些发散产生，配合适当的用例方法，等价类，边界值等。最后扩展出一些安全测试的用例即可。

作者: hyd_bpmf 时间: 2012-9-11 09:17
好久没逛坛子了，看到新一期，顶一下

作者: runnerhuang 时间: 2012-9-11 18:39
楼主，您好，想问一下loadrunner和ab做性能测试的原理和机制有什么不同？很多情况loadrunner的并发数量上不去，但ab能快速简单的完成，如果是这样的话为什么不都选ab呢？

作者: bingergood 时间: 2012-9-11 20:10
webdriver的安装应该没有操作系统的限制吧？

作者: wuyingmin 时间: 2012-9-12 08:50
回复 38# ccg890811

做发应该根据网站的实际架构来做,是应用+webservice+缓存+持久,还是应用+持久每种架构的测试策略可能有所不同,多关注三个方面,一应用client端的性能，二应用后端数据存的性能，三应用代码层逻辑的性能。

作者: wuyingmin 时间: 2012-9-12 08:54
回复 39# runnerhuang

LR内部机制保证了一些可能出现的环境差异性。有更多的选择，易用，并且有阶段性性能测试加压的专利。ab or jmeter 更容易被环境所影响，但是其数据可能更加逼真(与LR的差距在可控范围内)，所以小应用，或者单系统测试的时候可以选择轻量级的jmeter测试，LR本身的成本还是比较高的。

作者: wuyingmin 时间: 2012-9-12 08:58
回复 40# bingergood

没有操作系统限制，只是linux下可能会遇到一些配置导致的问题，不过是可行的

作者: 宝丫妈咪 时间: 2012-9-17 19:05
刚入手selenium,为什么driver 2.0总是有时能找到页面元素，有时找不到。selenium command error.

作者: 电脑旁的橙子 时间: 2012-9-18 11:21
回复 8# fish531
你也是ios测试吗？

作者: xidu 时间: 2012-9-18 18:51
Selenium+TestNG 脚本的稳定性怎么解决？我这有大概1000多个case，单个运行都能测试通过，但是一旦整体运行，就有些case不能通过。通过的比例大概是90%--98%，怎么解决这个问题？
我现在是加固定等待时间、循环等待某个元素，2中方法之外还有其他好的方法吗？

作者: xidu 时间: 2012-9-18 19:06
com.thoughtworks.selenium.SeleniumException: ERROR: Couldn't access document.body. Is this HTML page fully loaded?
我的脚本运行时偶尔报这个错，不是每次都报？而且实际页面每次能看见是已经加载完成了。这个怎么解决？加固定等待时间是不行的。等待某个特定元素也不行。

作者: wuyingmin 时间: 2012-9-19 09:07
回复 44# 宝丫妈咪

需要加入相应的等待机制，可以是default等待时间，它的子集中嵌入等待某元素出现的判断。这样的方式能提高成功率，但效率会有一定下降。

作者: wuyingmin 时间: 2012-9-19 09:12
回复 46# xidu

selenium的话加固定等待时间、循环等待某个元素（包含于前者）是现在比较常用的方式。整体运行的时候有很多时候是由于瞬时页面代理刷新慢，导致找不到元素fail。如果想真实提高用例成功率，这个时候可能需要第三方的媒介来存取相关的成功失败的case。虽然能很快提高用例成功率，但是更加消耗效率。对失败的case进行清理环境之后的重跑机制。这种方法比较适合定时触发的自动化测试，对时间没有太多苛刻的要求。

作者: wuyingmin 时间: 2012-9-19 09:15
回复 47# xidu

这个是selenium现有的一个小小的BUG，在启动代理，代理请求，页面加载100%判断的上面只要有一个环节出错都会导致空白页或者无法找到元素，特别是一些内嵌页面的时候会比较频发，比较好的做法是在框架层面进行相关的处理和上一个回复有雷同的地方。

作者: 小尘埃 时间: 2012-9-20 13:50
刚刚步入测试，工作中第一个项目刚刚完结，测试的每个阶段都接触了。（web程序的测试）
突然不知道该往哪方面发展了。迷茫。

作者: wuliangye 时间: 2012-9-20 15:58
学习了，顶！！！

作者: whhuang 时间: 2012-9-20 16:27
我想问下；
web自动化方面，页面数据展现方面有没有自动化的啊？
就是检查页面展现的数据是不是跟数据库一致

作者: xidu 时间: 2012-9-21 09:54
回复 50# wuyingmin

谢谢指点

作者: jiazurongyu 时间: 2012-9-21 14:40
支持一下。这个命题也比较感兴趣

作者: 王雅 时间: 2012-9-21 15:27
web测试，一般会用到什么自动化测试工具？

作者: wuyingmin 时间: 2012-9-21 17:32
回复 57# 王雅

根据web应用的分层进行有针对性的测试。自动化测试不仅局限于UI,还有SERVICE,持久层的测试。工具UI上面selenium,watir都是不错的选择，service很多公司都有自己的工具或者框架来支持，这一层的测试将会更加的有效，数据持久层更多的是校验的自动化测试。

作者: wuyingmin 时间: 2012-9-21 17:33
回复 53# whhuang

这个是service和数据库之间的校验测试，更多的是从UT或者sevice层来做这样的自动化。直接从页面来做这样的效果不是很好。

作者: 1103159572 时间: 2012-9-24 11:51
做WEB测试大半年了、一个人负责大小项目有4个、纯手动测试、对于流程和流程中所产生的文档基本能编写、因为是一个人做测试、所以文档方面不怎么不规范，用例的执行度不够——这样一个情况如果换工作，要是你是HR能有多大的机会录用……

作者: wuyingmin 时间: 2012-9-24 12:09
回复 60# 1103159572

更多的是将已有工作的亮点和缺点总结好，总有可取的地方，并且HR看一半是技术，一半是价值观。将自己做的展现出来很重要。

作者: lsekfe 时间: 2012-9-24 13:54
最后一周，大家有什么问题。快点提出吧！

作者: hlhong 时间: 2012-9-26 16:06
您好！能提供一些Selenium RC+Nunit自动化测试的资料吗？

作者: 萍_jane 时间: 2012-9-29 12:40
我做开发快一年了，有点想转测试，我该怎么办呢？？？？

作者: 萍_jane 时间: 2012-9-29 12:41
我做开发快一年了，有点想转测试，我该怎么办呢？？？？

作者: wuyingmin 时间: 2012-10-9 08:24
回复 65# 萍_jane

对于开发转测试更加重要的是对测试流程和测试方法的把控。测试工具、代码什么的都不是问题，关键在于测试的方法，很多复杂的情况更需要将测试方法的理论实践化。所以开发转测试的话关键对于测试方法和流程的理解和代码的结合

作者: wuyingmin 时间: 2012-10-9 08:25
回复 63# hlhong

这个论坛里有，另外seleniumcn.cn有很多的例子和实践

作者: daiyongdang 时间: 2012-10-10 16:22
本人现在做手动的性能和功能等测试，偶尔会借用一些测试工具，现在想学自动化，该从何入手比较好？

作者: hiphop_c 时间: 2012-10-11 10:38
大侠，你好，我从事了两年测试工作，一直在功能测试，对应性能测试方面的知识，掌握的寥寥无几，是否能够分享一下性能测试的几个最需要掌握的测试方法呀？

作者: wuyingmin 时间: 2012-10-15 16:59
回复 68# daiyongdang

自动化的分为公司现有的流程和自动化本身的代码框架。框架ui上面又webdriver等测试框架，易用易上手。流程上面如何和ci结合，在用例初期就区分现有的框架，做到事半功倍。

学习更多的可以从selenium,webdriver简单的框架入手，支持多语言，学习一门语言，多看看网上的例子就可以

作者: wuyingmin 时间: 2012-10-15 17:01
回复 69# hiphop_c

性能测试分为性能执行，结果分析，tuning。性能执行更多的要还原真实的生产环境。结果分析更多找到现有系统的瓶颈。tuning需要多方面的知识面，服务器，io，代码特性，数据库特性，缓存特性等等

作者: wuyingmin 时间: 2012-10-30 14:36
回复 72# 213617.

呵呵，遇到熟人了呢，实习版主阿，呵呵，佩服佩服

作者: 冬儿 时间: 2012-10-31 11:00
回复 6# xu1314

一样彼此鼓励下

作者: iyxnm 时间: 2012-11-10 09:09
我的妈呀，爱死你了

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)