yours-123 发表于 2009-8-28 10:42:11

LR结果分析-并发用户和响应时间及事务成功率的关系

两个场景,场景1:并发用户20人。场景2:并发用户50人,运行条件,时间均相同。在脚本中加入text/image check,判断页面是否正确返回。

测试结果为:20个用户: PASS Transaction:2899 Fail: 420 Response time: 1.5s
         
          50个用户: PASS Transaction:4300Fail: 384 Response Time: 2.5s

从结果中我们可以看出,第二个场景的并发用户数是第一个的2倍,事务的访问量却没有达到第一个场景的2倍。事务响应成功率的比较:20个用户的: 2899/(2899+420)=87% ,50个用户的响应成功率为:4300/(4300+384)= 91%, 50个用户的成功率却比20个用户的成功率增加了。我还试过80个用户的,比50个用户的成功率还要高。但是响应时间变慢了。

我觉得是由于系统响应时间增加后,无法处理用户发来的请求,用户一直等待。所以导致了,50个用户没比20个用户多发送多少请求。那么,事务成功率这个指标是否能够正确反映出系统的性能呢? 我看过一些测试分析报告,好像都没有把这个事务成功率作为分析标准。不知道各位测试的时候是如何做的。

chen1130 发表于 2009-8-28 11:08:32

个人觉得成功率与并发数没有什么必然的联系,除非是大规模报错,这个时候的并发数可以被看作并发数瓶颈。
我们这边看性能主要是看响应时间,和大规模报错时的并发数。

yours-123 发表于 2009-8-28 11:32:36

这些错误在我们这都是数据库连接的错误。我觉得事务成功率这个指标,如果连接错误比较少时,不应该做为参考指标。但是开发人员很纠结,认为并发用户数访问越多,错误率就应该上升。不知道怎么给他解释比较合理。

msnshow 发表于 2009-8-30 00:06:48

要看具体是什么错误,性能测试时要尽量保证少报错
看你提供的数据,错误率达到了10%,这个太高了,性能测试结果已经不准确
页: [1]
查看完整版本: LR结果分析-并发用户和响应时间及事务成功率的关系