51Testing软件测试论坛

标题: 【你来问我来答第51期】:WEB互联网测试(已结束) [打印本页]

作者: lsekfe    时间: 2014-10-8 13:35
标题: 【你来问我来答第51期】:WEB互联网测试(已结束)
[attach]92394[/attach]
论坛ID:archonwang
真实姓名:王慧
现任公司:上海知是网络科技有限公司
现任职位:测试经理
工作经验: 十多年的测试及相关领域工作,在电信、移动、银行、互联网等领域参与并实施了一百多个不同类型的项目及产品,涉及功能测试、业务测试、性能测试、自动化测试、容灾及安全测试等多个测试领域。目前着力于WEB互联网的产品测试及测试组织管理及规划工作。
PS:这期主要想给大家讨论WEB互联网公司的测试模式、方式、工具等,有兴趣的童鞋可以进来“坐坐”。
[attach]92375[/attach]

请各位会员围绕本期做客专家的擅长领域进行提问!

做客专家会尽所能的回答各位会员提出的问题、并且与大家进行探讨~

机会难得,欢迎大家踊跃提问!


作者: WXQQXW555    时间: 2014-10-8 13:57
沙发
最近在做移动商城的测试工作,想问下关于移动商城性能测试主要需要关注那些压测点?

作者: Giant321    时间: 2014-10-8 14:18
目前对LoadRunner和Jmeter有基础的了解,也能够使用一些常用的基础功能(简单的录制、回放、参数化、监测点等), 以后的方向想走性能测试这块,请问一下我需要强化一下哪些方面的知识?工具使用上能不能给一些建议?

作者: kakaxi5221    时间: 2014-10-8 14:44
主要是想了解web端如果快速开展性能测试,比如工具的选择、测试的方法、以及测试当中的一些注意事项。
作者: yyq123    时间: 2014-10-8 14:49
现在就在做简单的功能、业务的测试;一般都是ie、谷歌、360等等各种浏览器一通手工测试
在外包小公司工作,需求方面客户都挺乱,开发做的东西挺差;
作为新人,我有点不知道该如何选择工具,和学习使用工具了。求教导!!!
作者: sdowaz2008    时间: 2014-10-8 17:09
做为一个新手,想做单元测试,有什么方法和书籍推荐吗?
作者: lsekfe    时间: 2014-10-9 13:51
各位不要着急,嘉宾会为大家统一解答。大家有任何问题可以先提出~
作者: lbb1656    时间: 2014-10-9 15:16
想学习一下接口测试方面的东西,能否给一些指导意见,还有soapui工具的使用应该从何学起?
作者: liujxjobtao    时间: 2014-10-9 15:47
目前在学习phpunit和selenium做web自动化测试,关于selenium在netbeans中的集成安装,还没搞定,请赐教!
作者: 肖德兵    时间: 2014-10-9 16:21
web安全测试具体是测哪些东西?怎么测的?
作者: zhangting216    时间: 2014-10-9 16:38
对于手机终端基本的功能测试的点,参照是什么,如字体大小说明是5号,用什么工具测试是正确的
作者: 茴香豆    时间: 2014-10-9 17:12
我也想问。现在在学loadrunner,做稍后的网站性能测试,瞎学的,好多看不懂,也不知道自学得有没有用。请问要怎么做好web.app自动测试
作者: hwk394020931    时间: 2014-10-9 17:19
,自学测试好似盲头苍蝇。。有无点学习方向参考一下,,楼主姐姐
作者: hwk394020931    时间: 2014-10-9 17:21
,现在学loadrunner像盲头苍蝇。。有无学习测试路径和学习方法教教
作者: zm51testing    时间: 2014-10-10 12:00
一直处于功能测试,对工具如:LoadRunner\Jmeter\selenium\android的adb功能有一定的使用,但是除了Android才真正用于项目测试中,其他的工具都还没有用于项目,该从哪方面入手,将性能工具,功能测试工具用于项目?
作者: ZHAOXSHIN    时间: 2014-10-10 16:34
不知道测试的道路该怎么走了,没有特别的想法 很捉急呀!!请求点悟
作者: pbm8385    时间: 2014-10-10 17:13
使用maven+selenium2+junit+jenkins,执行测试用例,测试对象为电商购物流程,每次执行脚本,不是100%通过,查看原因,很大程度上是由于浏览器退出造成用例执行失败。
请问:对于这种情况,怎样判断是脚本问题还是自动化工具问题,怎样解决,以提高脚本运行的稳定性。
作者: candice1990    时间: 2014-10-10 17:36
刚刚加入了一个电子商务公司做测试,公司测试只有两个人,公司也是属于创业型公司,在测试方面目前涉及到的只是功能性的测试,自己也是软件测试刚入门,不知道从何学起,数据库?python语言?希望能给指个方向
作者: archonwang    时间: 2014-10-11 09:08
WXQQXW555 发表于 2014-10-8 13:57
沙发
最近在做移动商城的测试工作,想问下关于移动商城性能测试主要需要关注那些压测点?

首先,任何测试都是基于目标设定的。
关于移动商城的性能测试的压测点问题,最好的解决办法是通过现有系统进行必要的流量分析,确认访问量最大和业务运算较大的场景作为其压测点。

常见的移动商城性能测试点如下:
1. 用户登陆;
2. 用户访问首页;
3. 用户访问商品页;
4. 商品查询;
5. 用户下单;
6. 用户支付——取决于交易支付的密度和频度;
作者: archonwang    时间: 2014-10-11 09:23
Giant321 发表于 2014-10-8 14:18
目前对LoadRunner和Jmeter有基础的了解,也能够使用一些常用的基础功能(简单的录制、回放、参数化、监测点 ...

做性能测试的话,需要了解和学习的知识大致如下(作为进阶参考下吧):
1. 至少一门编程语言,不仅会读,更要会写;
2. 网络方面的协议分析及监控,了解网络部署架构及其优缺点;
3. 一定要会使用数据库及数据库的性能分析工具,进行性能测试造数的必备工具;
4. 操作系统知识,会用且会进行性能参数的配置及调整;
5. 了解你要测试的业务和技术架构,能分析可能存在的性能问题;
6. 特定的性能工具;比如LR或是JMeter或是其他——每个厂商的工具不一样,都有不同的应对面;


下面是一些高阶的技能和要求,取决于你自己在技术方面的追求啦
7. 良好的结构化思维及系统思维能力,这个和技术无关,不过可以提高理解和快速掌握事务的能力;
8. 程序算法及多线程思维——此项技能逆天,能掌握好原理,并能真正Code出来的程序员也不多见哦,应该说是高级程序员必备技能;
9. 其他。。。


测试工作在技术层面上,最终一定是和开发殊途同归的,会测试的开发人员了不起,会开发的测试人员更了不得。Soso,无需妄自菲薄!


PS:还有一点,一定要熟练使用Office工具,数据分析、报告编写可全靠它了。




作者: archonwang    时间: 2014-10-11 09:29
Giant321 发表于 2014-10-8 14:18
目前对LoadRunner和Jmeter有基础的了解,也能够使用一些常用的基础功能(简单的录制、回放、参数化、监测点 ...

关于工具上的建议,不同的产品和项目有不同的要求,建议的方式是精通一个,熟悉其他。
LR是商用工具,其帮助文档足够一般使用了,碰到了特别的问题再具体详解;JMeter的工具是开源的,如果了解Java的话,也可以对其进行插件开发和定制化,具体要看你所要测试的内容使用哪个更加便捷高效;除此之外,还有很多的选择,如ibm的性能测试工具等等;

比较反对纯粹的工具学习,不能掌握性能测试的核心思想和解决问题的方式,最多也就马马虎虎做个执行。给大家学习工具的建议是:知其然,并知其所以然。
作者: archonwang    时间: 2014-10-11 09:40
kakaxi5221 发表于 2014-10-8 14:44
主要是想了解web端如果快速开展性能测试,比如工具的选择、测试的方法、以及测试当中的一些注意事项。

这个问题,如有相关基础的话也要学习个几天。。。。。。
这里篇幅有限,不太可能会说得面面俱到——我这里从简就如何快速开始WEB端性能测试谈下自己的看法;

1. 一定要先定义好目标和需求,再选择工具和方法。
2. 在选择工具的时候应该优先按可靠性、熟悉度来排序;新技术、新工具固然有其特点,但是选择可靠且熟悉的才是王道;
3. 测试方法不一而足,取决于你要做什么类型的性能测试,有些甚至不需要工具一样可以达到效果——不要唯工具论,而有些必须通过自己开发相关程序才能实现对应的施压及数据记录;
4. 尤其在测试过程中要注意相关细节,WEB性能测试要求我们对各种可能的涉及对象进行分析、网络、硬件、技术架构、应用程序设计、数据等等,万不可遗漏;
5. 注意在拆分性能目标的时候,一定要能进行原子化、数量化;
6. 时刻记住该原则:软件一定是有限条件下的有限的满足!
作者: archonwang    时间: 2014-10-11 09:51
yyq123 发表于 2014-10-8 14:49
现在就在做简单的功能、业务的测试;一般都是ie、谷歌、360等等各种浏览器一通手工测试
在外包小公司工作 ...

先恭喜你,你有可能会在这段时间的工作内获得更多的经验和教训;

小公司的特点决定了现状,但是我想更重要的首先应该是适应,然后寻求进化之道;
建议的做法
1. 需求很乱,想办法规整,养成随时记录并修改的习惯是其一,其二更要注意和需求供方的反复确认;
2. 开发做东西很差.... 觉得是你的个人观感问题,谁都不希望是这样的吧,还有就是为什么他们做出来的是这样的,让你感觉很差?多思考思考,想想怎么解决更好。
3. 规范开发流程和确定各个流程节点上的交付标准和审查标准是很关键的因素,若是考虑公司在这个方面的长远发展,必然要逐步深入开展下来才是。可以先从制定流程及流程规范开始,逐步扩展并明确相关的标准及制度;
4. 关于如何选择工具和学习使用工具。。。应时而定,如果当前的情况真心不容乐观到了这个地步,那么先要把手头的事情先处理好了再进行下一步;有些情况下,可能会有自动化方面的要求,先要满足了这些条件,才有可能成功实施自动化。说白了,工具也好、流程也罢,都是为了快速低成本实现目标的手段,不是目标本身。

知道应该怎么做可能不那么重要,重要的是去做!
作者: 微笑流淌    时间: 2014-10-11 16:50
1、WEB自动化测试工具的选择是否跟CS架构的工具选择不一样呢?QTP还是Selenium更合适呢?
2、功能测试的职业发展(技术方面),是否一定需向自动化或性能方式去转变,单纯的功能测试发展方向很渺茫吗?
   个人理解的功能测试,是要和业务知识、测试技巧相关,否则没有什么竞争优势
作者: bangbangtangchu    时间: 2014-10-11 21:35
目前做中兴的外包,但是先前都没有这方面的工作经验(1年web测试),感觉通讯不太感兴趣,而且主要是出差的活(也许是因为对通讯知识知道的太少了);不知道以后会发展成什么情况?我该何去何从。请指教
作者: archonwang    时间: 2014-10-13 06:50
sdowaz2008 发表于 2014-10-8 17:09
做为一个新手,想做单元测试,有什么方法和书籍推荐吗?

不知道你从事的是哪个平台的单元测试。匆忙推荐,你看下再具体决定
1. 单元测试之道;
2. 单元测试的艺术;
3. 互联网单元测试及解决之道;

依据不同的平台,有其特定平台下的单元测试框架,比如java-junit,dot net - Nunit或是自主的VS测试框架等等;目前国内的书籍比较少,兴许还需要看些特定的国外书籍。


关于单元测试方法这件事,说起来很简单。找一个合适的框架,在框架基础上研究框架的设计及单元业务即可,剩下的就是编码了。单元测试编码工作相对枯燥,和写代码如出一辙。So,我想你首先要有最基本的编码能力,搭配上单元测试的用例设计并将之实现。

大量的单元测试编码实践是必要的,可以帮助你快速的实现和完成你对单元测试的认知、理解并快速用于项目/产品。
作者: archonwang    时间: 2014-10-13 06:58
lbb1656 发表于 2014-10-9 15:16
想学习一下接口测试方面的东西,能否给一些指导意见,还有soapui工具的使用应该从何学起?

接口测试的工具多样,取决于你的产品使用的是何种类型的接口;一般常用的工具是soapui,但是这个工具对于socket接口就无能为力。

在web侧,我们常见的接口形式这么几种
1. WebService接口
2. WebAPI
3. Http接口
4. Restful Service接口

我在过往的测试工作中,会经常遇到以上几类常见接口形式,每一种接口形式都有其特点,但是好在通过一两个工具几乎可以将之囊括在内。

对于接口测试,最重要的用例设计无外乎是数据用例设计,使用不同的接口数据来模拟各种接口情况——听起来有点类似于单元测试,不过相对的,通过第三方工具可能不需要编写代码,只需要提供测试数据及期望的判定数据即可。

Soapui在官方网站上提供了很多详细资料,直接阅读官方网站的帮助就能获得很多的指导性意见。其次,各位使用过的大牛的总结资料也是值得好好读一下的。直接BAIDU或是Google一下可以找到很多。如果一定要说从入门开始,请直接读官方的soapui quick start的指导文档,可快速帮您上手。
作者: archonwang    时间: 2014-10-13 07:03
liujxjobtao 发表于 2014-10-9 15:47
目前在学习phpunit和selenium做web自动化测试,关于selenium在netbeans中的集成安装,还没搞定,请赐教!

请直接看NetBeans的官方文档(本人没使用过NetBeans做过php开发),另外,一定要遵照NetBeans的官方文档按步骤配置,切勿跳过!!
https://netbeans.org/kb/docs/php/phpunit.html
http://startingwithseleniumwebdr ... e-selenium-web.html

配合着问题来定位问题及解决方案
作者: WXQQXW555    时间: 2014-10-13 10:32
archonwang 发表于 2014-10-11 09:08
首先,任何测试都是基于目标设定的。
关于移动商城的性能测试的压测点问题,最好的解决办法是通过现有系 ...

非常关键,感谢
作者: kakaxi5221    时间: 2014-10-14 09:40
archonwang 发表于 2014-10-11 09:40
这个问题,如有相关基础的话也要学习个几天。。。。。。
这里篇幅有限,不太可能会说得面面俱到——我这 ...

谢谢你的回复,我会继续努力
作者: mew234    时间: 2014-10-14 16:30
本帖最后由 mew234 于 2014-10-14 18:43 编辑

王慧 大哥 您好:
请问一下,若要为公司 规划自动化测试,目的是节省人力与时间。

==>>>您会选用哪套软件呢? ( 比方说QTP、selenium、SOAPUI 或其他软件 )
==>>>若公司产品是web 网站服务,您会依据甚么来做出选择或规划?
==>>>若由您做评估,您会把所有可能的软件都下载安装,录制脚本后,
         再做比较表? (好奇您会怎么做?)


(已先google过许多文章。目前得到的结论是: “依据需求而定”.
但现在问题是: 我要怎样才能知道哪套软件能够做到以下要求?

1. 可轻松控制想要录制 ”对象”( Object)。
=>>>即WEB前端的 UI 做更动后,不必每次再为此重新录制脚本,
或是每次为此人工手动添加 “对象” ( Object)。

举例来讲: 像是”网页上增加新按钮” 或”文字输入框的位置有变化”,
过去作法是每次皆须重新录制新脚本。

2.把某些测试案例  或是对象 模块,以减少录制次数。

3.可支持多浏览器

4.学习曲线低。(意即容易上手)

先谢谢您的时间与耐心。
作者: hlhong    时间: 2014-10-14 17:44
你好,请问对于ERP系统如何做功能和性能自动化测试?选用哪些工具比较适合?
作者: mew234    时间: 2014-10-14 18:45
目前公司平均每周会有新的release 释出(即每周都会需要反复测试),也不断的在修bug与添加新功能。
=>>>若导入”自动化测试”,那是否违反”自动化”的初衷?
(印象中以前看过文章,提到若要做自动化,则系统需趋于稳定。否则,在系统不稳定下,投入自动化的后成本效益反而不高。(但不就是为了要提升效率,降低重复操作,所以才要搞自动化降低人力成本吗? ) )

作者: crystalxmlcathk    时间: 2014-10-15 17:13
hwk394020931 发表于 2014-10-9 17:19
,自学测试好似盲头苍蝇。。有无点学习方向参考一下,,楼主姐姐

明显是哥哥嘛? 哪来的楼主姐姐捏。。。。。
作者: archonwang    时间: 2014-10-16 15:27
不好意思,近期有点忙,今晚上回答。有几个自动化方面的问题提得很好。我把基本的思路整理好了发出来解答。
作者: 木易天下    时间: 2014-10-17 14:41
一家游戏做灰盒测试,是一位新人,立志从事测试工作,想做白盒测试,我应该怎样做
作者: msnshow    时间: 2014-10-19 11:55
木易天下 发表于 2014-10-17 14:41
一家游戏做灰盒测试,是一位新人,立志从事测试工作,想做白盒测试,我应该怎样做

很简单,先把黑盒测试做好
作者: msnshow    时间: 2014-10-19 11:57
mew234 发表于 2014-10-14 18:45
目前公司平均每周会有新的release 释出(即每周都会需要反复测试),也不断的在修bug与添加新功能。
=>>>若 ...

稳定只是相对的,就算你的系统反复在改,应该还是有些功能是稳定的吧
作者: msnshow    时间: 2014-10-19 11:58
hlhong 发表于 2014-10-14 17:44
你好,请问对于ERP系统如何做功能和性能自动化测试?选用哪些工具比较适合?

ERP系统也没什么不同吧,至于用什么工具,关键还是要看你会什么,适合的才是最好的
作者: archonwang    时间: 2014-10-20 14:36
肖德兵 发表于 2014-10-9 16:21
web安全测试具体是测哪些东西?怎么测的?

一个完整的Web安全体系测试可以从部署与基础结构,输入验证,身份验证,授权,配置管理配置管理配置管理配置管理,敏感数据,会话管理,加密,参数操作,异常管理,审核和日志记录等几个方面入手。所以,一个完整的安全测试一定是软件 + 硬件 + 网络结构的综合体。那么基于这三者的相关测试方法也可以说是都用得上。

——应用程序的安全测试是其中一个重要组成部分,但不是全部。

基于不同的安全检测目标,所使用的测试方法和手段也是不尽相同的。——常见的测试手段有时候还真不能满足那些BT、逆天的入侵和攻击。So,各种昂贵的商用安全检测工具突突突登场了,比如HP Inspect、 IBM Appscan等等;

测试手法本质上就两种,一种是手工测试、一种是自动化工具测试。另外还有个混合体,就是半自动化(自动化 + 手动)。目前业界对于WEB安全,重要的还是在预防而不是修补——当然修补也是必须的。

关于如何测试?这个问题说起来实在是有点太繁杂了,不同的安全威胁,应对的测试手段也是不同的,有时候根本毫无关联性。安全测试的方法若真是通过各大搜索引擎一找一大把,只不过不能知道你的最终答案需要哪个,也不好意思直接帮你搬运了,请楼主自行查询,若有不明白的地方或是需要具体指导的,我们再就明确的问题来一一作答探讨。


作者: archonwang    时间: 2014-10-20 14:50
zhangting216 发表于 2014-10-9 16:38
对于手机终端基本的功能测试的点,参照是什么,如字体大小说明是5号,用什么工具测试是正确的

手机客户端测试是近年来的热点。
手机端和PC端的测试方法和流程基本是一致的。特别要说明的是手机端的操作系统及屏幕适配问题。
在手机端,随着各种智能机及PAD的出现,会有各种屏幕适配,导致出来的奇怪问题——注意,任何屏幕分辨率都是需要进行适配调整的哦。此外,就手机端操作系统和PC端一样,也面临着多版本兼容的问题,比如Android 2.X、Android3.X、Android 4.X。

题主所说的字体大小一方面是个适配问题,另外一方面应该是个需求问题。先满足需求,后满足适配。

至于手机端的自动化测试工具。有,不过不多,较为成熟进行商业化的就更少了。以前用过的测试工具大致给列下:
Android MonkeyRunner
Android Robotium

更多的话可以参考下以前51的一份文章:http://www.51testing.com/html/65/n-846365.html

我不是太理解题主所说的用什么工具测试是正确的,各个应用都有自己的测试要求。根据要求来实现即可,不存在正确一说,只有合适一说。如果说题主要求用工具检测字体大小,最好的办法是自动化,但是有代价。最快的方法应该是直接人工判断。看题主你的需要啦。

但是从我自己的使用经验来看,不管使用哪款自动化测试工具,都要求使用者具备基本的编码基础,能较为流畅的编写出对应的脚本或测试代码。
作者: archonwang    时间: 2014-10-20 15:01
茴香豆 发表于 2014-10-9 17:12
我也想问。现在在学loadrunner,做稍后的网站性能测试,瞎学的,好多看不懂,也不知道自学得有没有用。请问 ...

先小小打击下,学习性能测试不是一个Loadrunner就可以的。

我们从这个问题逐步延伸开去。首先,知其然,并知其所以然。不了解所以然,最多只是治标不治本的作法,无法在这个领域内继续深入精进。

一般网站性能都会有这么几个指标,比如:容量、稳定性、压力负载最佳点位等等;我建议是先从理论开始,先要了解个全貌,然后看自己所在的领域,希望更多深入的是哪个,比如我专门合理linux下的java类webapp,那就要多学习与linux相关的系统性能参数指标、java的线程管理技术及高效算法、以及特定webapp的对应业务知识。数据库、网络等等也是必须的。


自学并投入实践一定有效果,不过效果因人而异。在一定程度上,实践越多所取得经验也越丰富。最好你边上有个这方面的前辈,有不能理解的可以随时请教或探讨,再进行深入研究。

做好WEBAPP的自动化测试,从几个方面着手
1. 搭好基础好办事;
2. 学习必须结合实践;
3. 随时做总结,提炼学习的知识、方法和经验;

作者: a2532743    时间: 2014-10-21 14:49
请问大神,现在自学loadrunner 也几个月了  ,脚本啥的基础都会了 ,那个性能分析,还有哪些图表看着都头大,请问大神们当年是怎么过来的
作者: mew234    时间: 2014-10-21 16:51
msnshow 发表于 2014-10-19 11:57
稳定只是相对的,就算你的系统反复在改,应该还是有些功能是稳定的吧

有些功能是相对稳定了没错,但是对应的前端UI一直改。
这可怎办?

作者: fafenjingbo    时间: 2014-10-21 17:37
自动化测试平台搭建起来并开始运行维护后表面看公司内自动化已无发展空间,后续怎么发展
作者: sophiafq    时间: 2014-10-21 19:50
你好,现在在学习JMeter,遇到的问题是(1)脚本录制完成后,回放脚本没有错误,但是数据没有插入到数据库中,请问这样的问题要怎么解决?
(2)回放脚本后,有报错的,怎样才可以快速找到解决的办法?
作者: test90    时间: 2014-10-22 17:22
怎么提问到现在都没消没息的?
作者: lsekfe    时间: 2014-10-22 17:24
test90 发表于 2014-10-22 17:22
怎么提问到现在都没消没息的?

你好,嘉宾最近比较忙,我会和他说下的~~
作者: huanglong1239    时间: 2014-10-22 18:25
你好 做测试4年 怎么想管理岗位转 需要具备哪些?。谢谢
作者: wangyueyong1    时间: 2014-10-22 18:37
1.对于生产上几百台服务器的环境如何进行压测?
2.如果通过性能侧环境评估的方式来评估线上环境,该怎样评估?
比如生产与测试环境数据库的容量不同、服务器型号不同,生产服务器参数配置不同测试服务器参数不同,
作者: jingying918    时间: 2014-10-23 11:45
王慧,您好!

     咨询一下,做软件测试10多年了,就测试来讲,您认为做测试最关键的、最重要的是什么?
作者: 407227813    时间: 2014-10-23 14:02
老师,我想问个问题,关于WEB自动化测试分布式运行框架有哪些?我的目标是,只运行代码机器,就能在不同的机器上运行用例
作者: 肺炎漫步秋天    时间: 2014-10-24 14:50
你好,我在使用loadrunner的时候遇到一个问题,想请教一下您。
在controller中运行了场景后,生成的analysis报表中,web page diagnostics下的所有图表数据都为空,请问要如何解决该问题?非常感谢
作者: 他是大嘴猴    时间: 2014-10-24 17:52
您好,我现在做一个投资理财产品的手机APP应用测试,登录页面有一个类似支付宝一个样的手势密码登录,我感觉我能够想到的测试点很少,好像一般就是一个正误的判断和提示信息等,但是我内心觉得,这个肯定是有很多测点的,请问我该从哪个方面入手测试呢
作者: 唯一的色彩    时间: 2014-10-24 17:55
肺炎漫步秋天 发表于 2014-10-24 14:50
你好,我在使用loadrunner的时候遇到一个问题,想请教一下您。
在controller中运行了场景后,生成的analys ...

Controller里面有一个Diagnostics选项,启用一下试试。我之前也遇到过,但忘记怎么弄的了。

作者: 唯一的色彩    时间: 2014-10-24 18:01
Controller里面有一个Diagnostics选项,启用一下web page diagnostics 试试。我之前也遇到过,但忘记怎么弄的了。希望可以帮到你。
作者: lijingprince5    时间: 2014-10-26 17:12
嘉宾您好, 我想问下,如果项目要求测试数据库中的存储过程的功能和性能,之前有没有做过? 从哪方面开始去着手去做,对QA来说。

谢谢!!!
作者: archonwang    时间: 2014-10-27 11:38
@关注此贴的筒子们、童鞋们,
实在不好意思,近期太过忙碌,决定今晚和明天(2014-10-28)对这些问题一并解答。有些问题很有水准的,我会尽量在我的知识范围和实战经验内将这些问题进行解释及注明。

再次感谢大家的关注。
作者: sshine    时间: 2014-10-27 15:33
电商网站,有优惠券、促销活动,测试关注点有哪些?整个电商网站,哪些需要特别关注的?希望能说的详细点
作者: 肺炎漫步秋天    时间: 2014-10-27 17:08
非常感谢您的回答,但是我已经设置了这个地方了,analysis中还是没有,我在这个问题上都卡了几天了
作者: 肺炎漫步秋天    时间: 2014-10-27 17:10
唯一的色彩 发表于 2014-10-24 17:55
Controller里面有一个Diagnostics选项,启用一下试试。我之前也遇到过,但忘记怎么弄的了。

非常感谢您的回答,但是我已经设置过这个地方了,可还是不行,都卡了几天了,解决不了
作者: testing200    时间: 2014-10-28 09:24
我想问一下,用LR做性能测试遇到Https网页和SSO登陆问题,需要做哪些处理?
作者: xiaojiu103    时间: 2014-10-28 09:47
楼主好,我现在所在的公司项目比较多,只有我一个人在做测试,所接手项目都是税务,政府和学校相关的,现在主要做的是黑盒测试,个别项目需要性能测试;项目测试基本上都是研发开发基本完成后才给测试,而且需求文档提供的需求很简陋,测试出来的许多问题研发不认同,所有不知道该怎么解决(研发经理也不去解决);现在做的测试都是凭着自己学过的和自己的工作经验在测试,这样肯定会有自己理解不到位的地方,这样的问题如何去解决;想请教一下如何做一个测试经理,谢谢
作者: mew234    时间: 2014-10-28 10:09
若公司采用scrum , 每5天就发布一个release
但经过多个release 后,发现仍有许多个新bug.
我的问题是:既然几乎是每天反覆地花时间进行测试,就算是使用完全相同的测试案例,
但还会有那么多bug? 这样似乎无法提升产品品质啊?
在这样的制度下,有无办法提升产品品质以及提升测试效率?

先谢谢专家
作者: nj_chenwei    时间: 2014-10-28 16:38
请问下,loadrunner中参数化形成的.dat文件里面有200万行数据,但是执行场景时执行到某段时间时从200万行数据会取值错误,这个问题该怎么解决呢? 之前另一个地方遇到过类似问题,把200万改成50万就不会报错了。求大神指导啊!
作者: archonwang    时间: 2014-10-29 22:24
hwk394020931 发表于 2014-10-9 17:19
,自学测试好似盲头苍蝇。。有无点学习方向参考一下,,楼主姐姐

嗯~~嗯~~~~

自学测试的话需要你首先要有个认知——测试工作是低门槛,难进阶的工作。
现在不知道楼主您是做哪个行业的,如果一开始在技术上处于劣势的话,就应该先从自己的优势出发,比如业务或是对技术或是业务的态度。

以前碰到过从医专转行到计算机行业的,一样NB的很哦。

So 》》》这里老生常谈下
1. 建立自己的信心,这个比当下的能力要重要的多;
2. 凡事必须由耐心和韧性,别怕摔倒出错,坚持不懈努力——不仅是学习必要的理论,更要将理论付诸实践。
3. 选择你自己要走的路——注意,这件事情没有任何人可以帮助你。在已经选择的方向上我们可以提供建议和参考,但是选择什么方向,实话说我对此觉得无能为力,这个要靠你自己定哦。
4. 最后,一定是从易到难的。千万不要一开始就选择那些高大上的方向(自己没基础、没经验的),一切从实际出发。

如有什么不明白的,随时在论坛上找找问问,很多牛人和你一起成长啊。哇哈哈。

PS:我不是姐姐,俺是GG。
作者: archonwang    时间: 2014-10-29 22:36
zm51testing 发表于 2014-10-10 12:00
一直处于功能测试,对工具如:LoadRunner\Jmeter\selenium\android的adb功能有一定的使用,但是除了Android ...

这个。我觉得楼主完全没问题啊
Android也有性能测试和功能测试工具的,问题是可能对楼主来说,有点小小的技术难度。
常见的服务器性能测试可以用于Android,比如lr或是jmeter;
客户端性能的话则要取决于性能需求,比如内存泄露之类的;
功能自动化有几种做法:一是通过常见的手机客户端测试工具,而是通过模拟器模拟自动化脚本。这里要根据你自己的需求选择一个比较合适的,上手尝试。

至于说如何切入,很简单,在项目中仅需根据需求要求来做即可,比如:项目要求性能能支持20W访问量/小时,那么性能需求非常明确,在项目实施过程中,进行性能测试就应当安排时间来进行。否则的话这些类型的测试没必要在项目周期内投入。

实际上,在短期项目内,不推荐使用功能自动化测试工具来进行回归测试,很重要的一个原因就是因为项目的时效是有要求的。如果周期太紧,就应该选择熟悉的方式方法和流程来完成工作。
作者: archonwang    时间: 2014-10-29 22:44
ZHAOXSHIN 发表于 2014-10-10 16:34
不知道测试的道路该怎么走了,没有特别的想法 很捉急呀!!请求点悟

晕,开悟的事情实在是很悬秒的。这里不仔细谈论关于开悟的问题,开悟一般都会经过很长一段时间的反复、纠结、困惑和折磨。开悟这件事情都是有过程的,一蹴而就本就有很多积累。

——没方向了就应当多尝试。没想法的话说明还不清楚你自己的目标。捉急不解决问题,静下心来好好考虑下你想在这条道路上如何发展,想做些什么,有怎样的期望?然后再逐步明确如何一步步实现你的这些idea。



作者: archonwang    时间: 2014-10-29 22:48
pbm8385 发表于 2014-10-10 17:13
使用maven+selenium2+junit+jenkins,执行测试用例,测试对象为电商购物流程,每次执行脚本,不是100%通过 ...

这个问题比较好,场景具体。不过要请楼主注意以下几个问题
1. 浏览器为何退出?
2. 用户失败后你的自动化脚本是如何处理的?

==================================
一般情况下,出现这种情况需要分析脚本日志,并且要进行必要的应用错误日志分析。不知道你的框架中是否已经包含了这部分内容,很多时候,需要还需要配合调试工具一起来查。
作者: archonwang    时间: 2014-10-29 22:53
candice1990 发表于 2014-10-10 17:36
刚刚加入了一个电子商务公司做测试,公司测试只有两个人,公司也是属于创业型公司,在测试方面目前涉及到的 ...

恩。很好的锻炼机会。刚入门的话就应该从最基础的开始。比如分析业务,设计执行测试用例,掌握基本的用例设计及执行方法,再在日常工作中多总结并引入相关新技术。
不要太担心技术,想学的话一定可以学会。测试领域的内容比较多,测试人员需要花费一定时间熟悉和了解各个开发平台和数据库。一门能读会写的编程语言,一种数据库,软件工程,测试基本的方法及测试用例设计方法,业务解释及分析等等,都是必要的知识。

建议,基于公司现有业务,分析相关的测试知识点,学习、巩固和 强化测试相关技能哦。
作者: archonwang    时间: 2014-10-29 23:00
微笑流淌 发表于 2014-10-11 16:50
1、WEB自动化测试工具的选择是否跟CS架构的工具选择不一样呢?QTP还是Selenium更合适呢?
2、功能测试的职 ...

1. 是的。BS架构和CS架构的应用选择工具可能是不一样的。
QTP还是Selenium?你选择工具的首要出发点是什么?成本低?容易学习?容易维护?有必要的话可以先列下你的选择。

2. 诚实的说,单纯做功能测试的确发展方向有限。当功能测试达到一定程度的时候,必须是和业务相互结合的。这样的话,就有两个方向,一个是业务专家,一个功能测试专家。自动化是成为功能测试专家的必选项——专家有一项就是要求工作高效。所以。我想自动化是一个必要的条件吧。
作者: archonwang    时间: 2014-10-29 23:14
bangbangtangchu 发表于 2014-10-11 21:35
目前做中兴的外包,但是先前都没有这方面的工作经验(1年web测试),感觉通讯不太感兴趣,而且主要是出差的 ...

不知道这样说好不好,叫 360行,行行出状元。

还有一句话:咬定青山不放松,任尔东南西北风。

不知道你当前的状态是哪个?如果说是选择的迷惘,那就应该慎重选择,每个人能做出选择的机会都不多。一旦选定,就应当坚定不移坚持往下走。

我不知道你是如何看待自己当前的行业的,如果您对一个行业有足够深入的认识,理性地讲,我们才认为这样的选择是有意义的。在没搞清楚状况之前,大多数时候都是毫无意义的乱冲乱撞(有点类似撞大运来着的吧)。

我在刚从业的期间一样迷惘,不知道自己最后会变成什么?如果不是一定规划好的人生,那么每个明天都会有不同的惊喜和挑战扑面而来。当时对我来说,最大的困难不是选择,而是无从选择。所以我决定坚持下来看看,年轻没有什么不可以。以过来人来说,我只想问下,不管你下一个选择是什么,楼主您准备好了么?
作者: archonwang    时间: 2014-10-29 23:23
mew234 发表于 2014-10-14 16:30
王慧 大哥 您好:
请问一下,若要为公司 规划自动化测试,目的是节省人力与时间。

好问题。

关于功能回归自动化工具的选型永远都会有问题。这里提几点
1. 目前大部分的自动化工具都会支持面向对象的方式,不管是qtp还是selenium,问题是支持的深度有差异
2. 模块话,成熟的测试工具也可以支持,比如您提到的这两个
3. 支持多浏览器,如果你的目的还需要进行浏览器相关兼容的测试的话,目前可能没有太好的方案,需要你根据自己的项目定制;
4. 学习曲线取决于可用的资料,工具的延续性等条件。关就容易上手,这几个都还可以。问题是你具备了哪些基础,才能决定哪个学习曲线更低——实际上是起点的问题。

==>>>您会选用哪套软件呢? ( 比方说QTP、selenium、SOAPUI 或其他软件 )
==========================================================
选择我比较熟悉、成本较低且贴近项目的。比如selenium;

==>>>若公司产品是web 网站服务,您会依据甚么来做出选择或规划?
==========================================================
依据我们所需实现的业务及技术架构来进行自动化工具选型,规划是个很大的概念,实现概念需要较长时间的努力,很难一蹴而就,哪怕是通过之前的经验来重新组建。世上没有完全一样的两片树叶。

==>>>若由您做评估,您会把所有可能的软件都下载安装,录制脚本后,
         再做比较表? (好奇您会怎么做?)
==========================================================
是个选择的方法,可能会选取典型的用例及场景,对比实现难度和可维护性。要深入体会,一定得这样做。

作者: archonwang    时间: 2014-10-29 23:25
hlhong 发表于 2014-10-14 17:44
你好,请问对于ERP系统如何做功能和性能自动化测试?选用哪些工具比较适合?

这个问题实在有点摸不着头脑。我不了解您的erp基于什么实现,使用平台和具体的技术及网络架构,大概也只能泛泛聊下。

大部分的工具都可以适应和实现ERP的业务场景,当然,实现的代价有差异,取决于erp的技术架构和平台。
作者: archonwang    时间: 2014-10-29 23:29
木易天下 发表于 2014-10-17 14:41
一家游戏做灰盒测试,是一位新人,立志从事测试工作,想做白盒测试,我应该怎样做

挑战下白盒,不错。

首先,建议您先学习当前的编码平台及工具,了解项目的语言特性;
其次,建立测试思维,尤其是白盒测试思维,阅读代码和验证逻辑性,确保逻辑封闭,无漏洞是走查的基本要求;
再次,动手实践,在实践过程中抽象框架思维
作者: archonwang    时间: 2014-10-29 23:31
a2532743 发表于 2014-10-21 14:49
请问大神,现在自学loadrunner 也几个月了  ,脚本啥的基础都会了 ,那个性能分析,还有哪些图表看着都头大 ...

不断的看,学习和了解,验证数据与实际结果的差异。

别无他法,经验可以学习和参考,但是不能照搬。
作者: archonwang    时间: 2014-10-29 23:33
fafenjingbo 发表于 2014-10-21 17:37
自动化测试平台搭建起来并开始运行维护后表面看公司内自动化已无发展空间,后续怎么发展

这个比较厉害啊。自动化后续还有很多工作要做,比如说自动化效率及完备性。

相信楼主应该会有自己的看法。搭建平台的目的不仅仅是为了适应现在,更重要的是应该指向未来。能使用更少时间,更少人力,达成更多的期望——优化无止境啊~~
作者: archonwang    时间: 2014-10-29 23:36
sophiafq 发表于 2014-10-21 19:50
你好,现在在学习JMeter,遇到的问题是(1)脚本录制完成后,回放脚本没有错误,但是数据没有插入到数据库 ...

1. 回放没错误的话,是不是意味着数据库操作也是正常的。如果是的话,尝试调试脚本;不是的话,回放实际不成功;
2. 回放报错,请打开并记录完整日志用于分析。对此JMeter似乎没有什么更好的办法。。。。毕竟人开源工具不可能搞得什么都很完备啊。
作者: archonwang    时间: 2014-10-29 23:39
huanglong1239 发表于 2014-10-22 18:25
你好 做测试4年 怎么想管理岗位转 需要具备哪些?。谢谢

做管理,尤其是技术管理,首先问问自己技术基本过关了么?
然后,有没有基本的效率意识,成本意识和有效沟通意识,一切都是以目标为检验工作的最终依据么?

拓展下其他领域方面的知识,非常重要,盯着技术,但不要只盯着技术,死盯着技术。一旦从事了管理工作,发现解决了人的问题,就解决了技术问题,绝大多数情况下都是这样的。
作者: archonwang    时间: 2014-10-29 23:46
wangyueyong1 发表于 2014-10-22 18:37
1.对于生产上几百台服务器的环境如何进行压测?
2.如果通过性能侧环境评估的方式来评估线上环境,该怎样评 ...

大型互联网系统有这方面的需求和问题,不同的机房、不同的机器类型和基本性能。看上去很难评估啊。
1. 服务器的多少实际上对评估结果的影响不大,但是个体差异决定了偏差。建议选取平均值。对于上百的服务器条件下,压测方式几乎和一台服务器没太大区别,关键是需要把多少请求发送到每个不同的服务器,一般这种情况都会使用阶梯集成的方式来进行,多台负载均衡设备进行控制,这样的话,可以把精力从整体缩小到个体。
2. 你如何判断你的性能测试环境和正式环境的差异性是回答这个问题的最佳方式。同样要计入考虑的是网络状况、带宽等条件。我一般会选用最差环境优选的方法。将多个环境下最接近生产环境分支的那个结果作为参考进行评估。
作者: archonwang    时间: 2014-10-29 23:50
jingying918 发表于 2014-10-23 11:45
王慧,您好!

     咨询一下,做软件测试10多年了,就测试来讲,您认为做测试最关键的、最重要的是什么 ...

比较宽泛的问题。做测试有很多关键和重要的因素,这里列举一个。
在大多数时候,沟通是首要解决的问题。技术是其次的。
之所以这样说,是因为沟通的问题往往是自己明白,其他人都不明白的境地——技术人员通病啊

但从另外的角度看,技术也很关键,也很重要。不一而足的是,每个人的视点和角度不同,看到的风景也不一样吧。


作者: archonwang    时间: 2014-10-29 23:56
407227813 发表于 2014-10-23 14:02
老师,我想问个问题,关于WEB自动化测试分布式运行框架有哪些?我的目标是,只运行代码机器,就能在不同的 ...

很专业的问题。
就我了解的材料看,有些类似的材料可以帮到你,有空可以研究:
http://wenku.it168.com/d_001516478.shtml
关于BDD相关的分布式自动化框架,比较不错的思想方式,看看是否有践行的可能。

作者: archonwang    时间: 2014-10-29 23:59
肺炎漫步秋天 发表于 2014-10-24 14:50
你好,我在使用loadrunner的时候遇到一个问题,想请教一下您。
在controller中运行了场景后,生成的analys ...

几个原因,
1. 可能是没开启记录该数据的选项;——开选项就好
2. 程序出错了导致无法打开;——请勿随意修改程序文件
3. 数据未被正常记录到或是数据量过大无法缓存。。。。——这个可能无解。尝试性能更好的机器看看吧。
作者: archonwang    时间: 2014-10-30 00:02
lijingprince5 发表于 2014-10-26 17:12
嘉宾您好, 我想问下,如果项目要求测试数据库中的存储过程的功能和性能,之前有没有做过? 从哪方面开始去 ...

数据库存储过程的性能和功能测试。实际上关于存储过程测试的文章比较多啦。百度下吧。

若要着手,首先,你得学会使用SQL
再接下来,sql如何分析性能,不同的数据库平台有不同的工具。
接下来,得知道SQL基本的性能指标参数;

最后,是调优,将性能差的语句摘下来优化。

作者: archonwang    时间: 2014-10-30 00:07
sshine 发表于 2014-10-27 15:33
电商网站,有优惠券、促销活动,测试关注点有哪些?整个电商网站,哪些需要特别关注的?希望能说的详细点

这个问题比较大,想先简单说下,如果后续有问题,欢迎拍砖。

web网站的关注点都是测试关注点,核心还是集中在业务的有效实现上。

整个电商网站,首重的是业务的核心交付能力,再次是体验,最后才是功能,不用的功能应该被改造或是关闭。

关于优惠券和促销,每个电商规则不一样,不能一概而论,但是可以通过基本的业务需求分析方法进行拆分处理。针对每个点进行场景设计和测试即可。
作者: archonwang    时间: 2014-10-30 00:09
他是大嘴猴 发表于 2014-10-24 17:52
您好,我现在做一个投资理财产品的手机APP应用测试,登录页面有一个类似支付宝一个样的手势密码登录,我感 ...

很多方面考虑,比如:从设备本身考虑,而不是应用;
从使用方法考虑;
从体验考虑等等。

每个不同的角度都有不同的要求和要素,当然你的测试角度也不同,所得到的结果也不一样。
作者: archonwang    时间: 2014-10-30 00:11
testing200 发表于 2014-10-28 09:24
我想问一下,用LR做性能测试遇到Https网页和SSO登陆问题,需要做哪些处理?

lr是支持https协议的,原则不需要做特别的处理。若遇到具体问题,可再联系确认。

sso的话需要考虑关联及cookies的问题。
作者: archonwang    时间: 2014-10-30 00:16
xiaojiu103 发表于 2014-10-28 09:47
楼主好,我现在所在的公司项目比较多,只有我一个人在做测试,所接手项目都是税务,政府和学校相关的,现在 ...

沟通,反复沟通,与整个团队确定验收标准,必要的时候请老大们一起来参与讨论和会议。

从责任上说,提出问题是我们的首要工作,但是问题也不是随便提的,必须附带你的参考依据和解决方法——这样更有说服力。

如何做个测试经理,除了必要的技术技能之外,很重要的一点是沟通,并保证沟通效果。可以说,沟通并达成预期的沟通目标是管理者的首要工作之一。
作者: archonwang    时间: 2014-10-30 00:22
mew234 发表于 2014-10-28 10:09
若公司采用scrum , 每5天就发布一个release
但经过多个release 后,发现仍有许多个新bug.
我的问题是:既 ...

好问题。

任何测试都是在一个阶段内解决了有限条件下的有限要求。所以,和开发一样,对测试完全不必抱持过高的期望,任何期望一次测试能解决所有问题的想法本身就是有问题的。

既然使用了敏捷,那么一定是基于迭代的,每个迭代中的内容都一直在增加,始终是处于不稳定的状态下的。所以,这里一方面来讲,在测试时间不充分的情况下,测试充分是很难想象的,另一方面来讲,提供自动化的检测方法是必须的。

敏捷之所以为人推崇,很大的原因是因为可以进行快速交付,让产品尽快面世,虽然不是一个较为完美的版本,但是从市场策略上可能更让boss们高兴的是占有率和用户习惯,接下来,在不增加功能的情况下,逐步优化细节,投入运营。这个阶段里问题的数量会越来越少,整个系统越来越成熟。
作者: archonwang    时间: 2014-10-30 00:24
nj_chenwei 发表于 2014-10-28 16:38
请问下,loadrunner中参数化形成的.dat文件里面有200万行数据,但是执行场景时执行到某段时间时从200万行数 ...


很可能是超限了,或者是内存溢出。我建议尝试使用其他的参数化方式,比如从数据库中读取及选用。或是采用编程方式取数等等。
作者: xiaojiu103    时间: 2014-10-30 10:31
楼主姐姐,我的问题帮我解答一下撒
作者: xiaojiu103    时间: 2014-10-30 10:33
谢谢楼主姐姐,刚看到了
作者: Miss_love    时间: 2014-10-30 17:35
大牛,请教一下,C/S客户端 执行性能测试 使用哪款软件?怎么选择协议呢?
作者: zengheng    时间: 2014-10-30 18:01
楼主好,我现在在学习用LoadRunner测AIP遇到这个报错,请问怎么解决,在百度上搜了也没找到解决的答案。脚本:
Action()
{
   
        lr_start_transaction("修改密码");
    web_service_call( "StepName=UpdatePassword_101",
                "SOAPMethod=Default|DefaultSoap|UpdatePassword",
                "ResponseParam=response",
                "Service=Default",
                "ExpectedResponse=SoapResult",
                "Snapshot=t1414659600.inf",
                BEGIN_ARGUMENTS,
                "oldPassword=adminsoft1",
                "newPassword=Aa12345678",
                END_ARGUMENTS,
                BEGIN_RESULT,
                "UpdatePasswordResult=Pass",
                END_RESULT,
                LAST);
  if((strstr(lr_eval_string("{Pass}"),"UpdatePasswordSuccess"))==NULL)
  {

          lr_end_transaction("登陆",LR_FAIL);
          lr_output_message("--------%s",lr_eval_string("{Pass}"));

  }
  else
  {
          lr_end_transaction("登陆",LR_PASS);
          lr_output_message("--------%s",lr_eval_string("{Pass}"));


  }
          return 0;
}
报错:
Action.c(5): Error: <CENTER><STRONG><FONT COLOR=#FF0031>Expected SOAP result, received SOAP fault</FONT></STRONG></CENTER>
Action.c(5): Error: <CENTER><STRONG><FONT COLOR=#FF0031>Failed to retrieve output arguments/checkpoints - SOAP fault occurred</FONT></STRONG></CENTER>
作者: nj_chenwei    时间: 2014-10-30 19:30
感谢楼主帮忙解答问题!
作者: mew234    时间: 2014-10-30 20:37
先过来谢谢 王慧 大哥 花时间讲解。^^
我来消化一下您的回应。
ps:  若这期结束后还能继续发问吗?

作者: lijingprince5    时间: 2014-10-31 08:47
archonwang 发表于 2014-10-30 00:02
数据库存储过程的性能和功能测试。实际上关于存储过程测试的文章比较多啦。百度下吧。

若要着手,首先 ...

谢谢你!
作者: zm51testing    时间: 2014-11-3 14:19
archonwang 发表于 2014-10-29 22:36
这个。我觉得楼主完全没问题啊
Android也有性能测试和功能测试工具的,问题是可能对楼主来说,有点小小 ...

感谢!我们是没一个月就有1次项目的迭代。以前是学开发的!只是当初初入社会,初入公司上班,什么都是从零开始。学校学的,都没怎么在公司用上!
所以感谢您的建议!


作者: zm51testing    时间: 2014-11-3 14:24
archonwang 发表于 2014-10-29 22:36
这个。我觉得楼主完全没问题啊
Android也有性能测试和功能测试工具的,问题是可能对楼主来说,有点小小 ...

手机客户端已经通过模拟器来测试,只是自动化脚本还不知道选取哪一种好!都是偶尔对lr感兴趣,偶尔对jmeter感兴趣;偶尔对android感兴趣!总之,都是学的草草的,基本的,都没有深入
作者: judy2008ilu    时间: 2014-11-3 14:49
我也来问问:

1.web 性能测试中,发现系统有性能问题了,我们从哪几个方面去分析到底是哪里出了问题。如何定位,
2.对于性能测试你是从什么时候开始介入测试的




欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2