LR工具设置问题和关注点
刚学性能测试3个多月,最近测试碰到一个问题,系统搭建好了(JBOSS+oracle),进行100并发的测试,发现入账时间居然为12S。优化了数据库,但发现还是一样。而且响应时间的最小的0.5s,最大却有20S。监控系统,发现应用机和数据库的资源都很正常,没有出现很大的压力。但为什么系统这么慢呢?后来我看到网上pacing对结果的影响,设置了pacing = 10S,也就是每个迭代之间有10s的间隔,而其他设置都不变。在进行100并发的测试,响应时间平均就为2.5s了。看了相关资料,因为LR是记录发送请求到服务器响应的时间,可能发送请求后,程序队列达到了最大请求,这个请求无法进入程序队列,而是在操作系统中等待,等待进入程序的队列,但LR已经开始计时,所以相比直接进入程序队列的和直接被处理的请求,他的系统的响应时间变长了,而后面来的请求也一样,这个时候这个个系统平均响应时间就很大了,实际也就失去了意义。
如果不明白我的意思可以看这个:
http://www.51testing.com/html/8/1502.html
http://www.blogjava.net/xingcyx/archive/2006/12/28/90498.html
那到底怎么做?是先调整PACING还是先优化系统?
1:如果不设置PACING,去优化系统,也许可以解决问题,但是如果系统优化到最优了,但还是很慢!这个时候我们或许会说,嗯,系统无法满足100并发的情况,请求速度太快,系统每秒无法响应这么多个请求,所以响应时间长。然后减少并发(实际减少并发也是减少每秒发送请求的数量,即请求速度),到50个并发,满足了。是否就说系统只能支持50并发?
2:但如果我去调整了PACING设置,减慢了发送请求速度,使得可以在规定的时间内处理完请求。这样没有太多的请求在等待,响应速度也就提高了,那么我们是否就能说系统支持100并发?
3:最后的就是先设置PACING,然后在看是否满足,如果还不满足,在去调整系统性能或是降低并发。
我们应该选择那种方法呢?这里PACING完全影响了测试的结果,我们到底应该怎么去定位这个系统性能是支持50还是100呢?到底那种设置才是真正反映100并发的情况呢? 我们如何关注这个间隔时间(请求速度)对性能的影响呢?
从客户测试的角度看,我不管你请求速度多快,不管等待时间,我只看响应时间大小!这个没有错。但如果从服务器角度看,我不管你等待时间,传送时间,我只管从程序队列到我服务器处理的时间。这个也没错,设置可以说这才是软件实际的性能。但我们性能测试又不能脱离客户端!那我们究竟要关注那个呢?到底那个性能才是我们关注的呢?
很困惑啊,请高手指教! 这个问题提的比较经典啊,好多时候都是自己设定的,没有什么规定。
听听大家意见~ 因为LR是记录发送请求到服务器响应的时间,可能发送请求后,程序队列达到了最大请求,这个请求无法进入程序队列,而是在操作系统中等待,等待进入程序的队列
你第一点 提到的优化系统是优化什么系统??? 我说的优化系统是指优化应用程序。
谈到这些设置,有时有确实比较随意,但是往往这些设置就会对系统测试结果造成比较大影响!碰到这种情况我们是要优先去调整这些设置呢?还是去程序中找问题去优化呢?
从我测试的列子中来看,大多请求没有进入程序队列,在外等待导致了响应时间过长,但系统压力并不大。因为设置pacing前后,系统资源情况差不多。我想是不是JBOSS连接数设置的问题?连接数太小,虽然服务器还有资源处理,单JBOSS只有这么多连接,其他却白白在等!可能是这个原因吗?
本来应该自己修改后测下看的,但系统上线压力大,性能测试时间压缩太多,已经没有时间在测试了,唉!!!!
页:
[1]