51Testing软件测试论坛

标题: 抛出一个问题看大家如何看 [打印本页]

作者: 大漠行者 时间: 2010-2-3 17:15
标题: 抛出一个问题看大家如何看
现今我用RPT或者LR 写完测试脚本，在两个版本上测试结果大相径庭，假如脚本没有问题的情况下，就说明一个版本有性能的regression，但是开发人员反驳说这么大的regression不可能，肯定是脚本的问题。
如此情况，兄弟们，换作你会如何处理？如何证明确实是产品的regression？

作者: Jackc 时间: 2010-2-4 17:18
1、双方都走代码走查。 
 
2、缩小性能测试范围，增加测试次数，增加初步定位精度。 
 
3、针对C++的程序，可以使用内存泄露检查工具扫一次，定位找到函数或代码行基本就没什么说的。 
 
换为思考，其实开发最怕的就是改冒烟，性能这样的测试发现的BUG，究其原因，无非就是初步定位比较复杂，所以我们测试也需要优化测试方法，增加这部分测试的初步定位精度。

作者: 大漠行者 时间: 2010-2-6 22:19
标题: 回复 2# 的帖子
不错！但是如果站在开发的角度，或许还不够有说服力。因为无法肯定回答两个问题：测试脚本是否有问题？产品是否真的regression？

作者: 大漠行者 时间: 2010-2-10 09:41
以前不曾考虑过这个问题，当真正遇到这种情况的时候，苦于没有头绪。
后来突然想到一个办法，就是用测试工具将load加到指定的数值，然后手动验证功能，并通过第三方插件获取该功能的相应时间，这样即使我不确定我的测试脚本是否正确，但是如果响应时间很高，我也能确定这个build肯定regression。
我觉得这个是不错的方法，但回头想想好像没有什么特别之处，所以拿出来，让大家看看，如果大家觉得有用或者从来没有想过，那就是我想要的，对大家有所帮助。

作者: goal1860 时间: 2010-2-13 05:55
跟我的初步想法一样，我以前也是这么干的。最好拉上开发的人一起看

作者: Jackc 时间: 2010-2-22 17:03
<

>呵呵，殊途同归 
<

> 
<

>其实这个问题的本质也就是经常提出来的开发和测试的协调问题，平时和开发搞好关系是预防这个问题的最普遍的方法。<IMG alt=

src="./images/smilies/default/smile.gif" border=0 smilieid="1"> 
<

> 
<

>其实最近就遇到了这样一个error：
<

>冒烟测试到2000多个个case时（每个case都不一样），多个模块crash（每个模块由各地不同的开发团队负责）。
<

> 
<

>由于： 
<

>1.开发与测试不在同地，开发也不具备测试的完整条件。在开发环境中模拟的环境不能重现error。 
<

>2.测试提供了大量的crash 的log信息，每次carsh的case ID和模块位置都不同。 
3.测试人员不能手动重现error，也不愿意缩小测试范围。 
4.开发团队是维护性质的，对整个系统的代码并不熟悉，只熟悉自己负责的那个模块代码。最终这个error在N多comments后被ignored。（唯一确定的是，这个error和测试自己搭建的服务器参数有关） 
 
这个结果其实很大程度是由“error定位”“该谁做”和 “做与不做” 的问题导致的。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)