51Testing软件测试论坛

标题: LR结果分析-并发用户和响应时间及事务成功率的关系 [打印本页]

作者: yours-123 时间: 2009-8-28 10:42
标题: LR结果分析-并发用户和响应时间及事务成功率的关系
两个场景，场景1：并发用户20人。场景2：并发用户50人，运行条件，时间均相同。在脚本中加入text/image check，判断页面是否正确返回。

测试结果为：20个用户： PASS Transaction:2899 Fail: 420 Response time: 1.5s

50个用户： PASS Transaction:4300 Fail: 384 Response Time: 2.5s

从结果中我们可以看出，第二个场景的并发用户数是第一个的2倍，事务的访问量却没有达到第一个场景的2倍。事务响应成功率的比较：20个用户的： 2899/(2899+420)=87% ,50个用户的响应成功率为：4300/(4300+384)= 91%, 50个用户的成功率却比20个用户的成功率增加了。我还试过80个用户的，比50个用户的成功率还要高。但是响应时间变慢了。

我觉得是由于系统响应时间增加后，无法处理用户发来的请求，用户一直等待。所以导致了，50个用户没比20个用户多发送多少请求。那么，事务成功率这个指标是否能够正确反映出系统的性能呢？我看过一些测试分析报告，好像都没有把这个事务成功率作为分析标准。不知道各位测试的时候是如何做的。

作者: chen1130 时间: 2009-8-28 11:08
个人觉得成功率与并发数没有什么必然的联系，除非是大规模报错，这个时候的并发数可以被看作并发数瓶颈。
我们这边看性能主要是看响应时间，和大规模报错时的并发数。

作者: yours-123 时间: 2009-8-28 11:32
这些错误在我们这都是数据库连接的错误。我觉得事务成功率这个指标，如果连接错误比较少时，不应该做为参考指标。但是开发人员很纠结，认为并发用户数访问越多，错误率就应该上升。不知道怎么给他解释比较合理。

作者: msnshow 时间: 2009-8-30 00:06
要看具体是什么错误,性能测试时要尽量保证少报错
看你提供的数据,错误率达到了10%,这个太高了,性能测试结果已经不准确

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)