抛出一个问题看大家如何看

大漠行者

现今我用RPT或者LR 写完测试脚本，在两个版本上测试结果大相径庭，假如脚本没有问题的情况下，就说明一个版本有性能的regression，但是开发人员反驳说这么大的regression不可能，肯定是脚本的问题。
如此情况，兄弟们，换作你会如何处理？如何证明确实是产品的regression？

Jackc

<P>1、双方都走代码走查。 </P>
<P>&nbsp;</P>
<P>2、缩小性能测试范围，增加测试次数，增加初步定位精度。 </P>
<P>&nbsp;</P>
<P>3、针对C++的程序，可以使用内存泄露检查工具扫一次，定位找到函数或代码行基本就没什么说的。 </P>
<P>&nbsp;</P>
<P>换为思考，其实开发最怕的就是改冒烟，性能这样的测试发现的BUG，究其原因，无非就是初步定位比较复杂，所以我们测试也需要优化测试方法，增加这部分测试的初步定位精度。</P>

大漠行者

不错！但是如果站在开发的角度，或许还不够有说服力。因为无法肯定回答两个问题：测试脚本是否有问题？产品是否真的regression？

大漠行者

以前不曾考虑过这个问题，当真正遇到这种情况的时候，苦于没有头绪。
后来突然想到一个办法，就是用测试工具将load加到指定的数值，然后手动验证功能，并通过第三方插件获取该功能的相应时间，这样即使我不确定我的测试脚本是否正确，但是如果响应时间很高，我也能确定这个build肯定regression。
我觉得这个是不错的方法，但回头想想好像没有什么特别之处，所以拿出来，让大家看看，如果大家觉得有用或者从来没有想过，那就是我想要的，对大家有所帮助。

goal1860

跟我的初步想法一样，我以前也是这么干的。最好拉上开发的人一起看

Jackc

<>呵呵，殊途同归 </P>
<>&nbsp;</P>
<>其实这个问题的本质也就是经常提出来的开发和测试的协调问题，平时和开发搞好关系是预防这个问题的最普遍的方法。<IMG alt= src="./images/smilies/default/smile.gif" border=0 smilieid="1"> </P>
<>&nbsp;</P>
<>其实最近就遇到了这样一个error：</P>
<>冒烟测试到2000多个个case时（每个case都不一样），多个模块crash（每个模块由各地不同的开发团队负责）。</P>
<>&nbsp;</P>
<>由于： </P>
<>1.开发与测试不在同地，开发也不具备测试的完整条件。在开发环境中模拟的环境不能重现error。 </P>
<>2.测试提供了大量的crash 的log信息，每次carsh的case ID和模块位置都不同。 </P>
<P>3.测试人员不能手动重现error，也不愿意缩小测试范围。 </P>
<P>4.开发团队是维护性质的，对整个系统的代码并不熟悉，只熟悉自己负责的那个模块代码。 最终这个error在N多comments后被ignored。（唯一确定的是，这个error和测试自己搭建的服务器参数有关） </P>
<P>&nbsp;</P>
<P>这个结果其实很大程度是由“error定位”“该谁做”和 “做与不做” 的问题导致的。</P>