51Testing软件测试论坛

标题: loadrunner测试的数据真的可靠么？ [打印本页]

作者: wonder80 时间: 2006-3-22 17:37
标题: loadrunner测试的数据真的可靠么？
我loadrunner测试了b/s模式系统的几个功能。
录制脚本，在测试的功能前添加集合点，将要测试的功能作为一个事务。然后设置了网速，只模拟了一个用户。测试出的数据和我实际操作得出的数据有很大的误差。
请问，这是怎么回事？

作者: suchboy 时间: 2006-3-22 18:31
B/S  , 用lr测试, 5并发，打开一个页面为7秒，让虚拟用户一直请求，然后我我用IE去做真实的操作，结果我3秒就打开了页面（掐了秒表）    我也说lr 的时间不准，

K版给了解释：

看到的页面虽然是在3秒内显示的，但其实该页面上的很多东西还是 on the  way的，可能服务器到客户端的传输尚未完成，可能IE还没彻底完成解析，只是俺肉眼凡胎看不到了，呵呵...lr报告的时间肯定是所有请求完成的时间了

测B/S时，可以装一个 badboy 看看页面在b和s之间传输的过程， http://www.badboy.com.au/  这个免费的软件
或者仔细的看看lr的 analysis 的分解页面功能

[ 本帖最后由 suchboy 于 2006-3-22 22:58 编辑 ]

作者: Koffer 时间: 2006-3-22 21:12
我也有点怀疑！
我们测试了一个功能，服务器在美国，如果脚本从美国跑需要5秒钟
在中国就要50秒了，差别有这么大吗？

作者: wonder80 时间: 2006-3-23 10:09
不仅仅是网页打开时间上有误差，在监视服务器性能上也有很大误差。如果lr得出的数据是真实的，cpu使用率达90%。那加负载的同时，我走页面，页面的反应速度应该慢得难以忍受，但是事实不是如此。

谁有这方面的资料，借我参考一下！
先谢了！

作者: 笑游天涯侠 时间: 2006-3-23 11:23
呵呵，我不赞同你们以上的看法。
1 手工测试时，如果你客户端IE设置了缓存，你看到的页面中的一些资源很可能根本就不是从服务器上返回的，导致你的测试结果不正确，所以手工测试时要保证与lr测试一样，页面上的所有资源都是从服务器上获取。
2 lr的测试结果给出的是一定并发用户下事务响应时间的Avg、Min、Max，我认为你在并发下的手工测试时间落在Min和Max之间都是合理的。如果手工测试时间与Avg差距较大，看看你lr测试结果的std/Avg的比值怎样，如果该比值较大，说明你这次测试结果的质量较差（即可重现性较低），检查一下是不是由于网络的不稳定造成的，在网络稳定时再重新测一遍。
3 在美国跑5秒，在中国跑50秒，也很正常呀，网络环境不一样，中国的网络环境本来就比美国差很多；再说服务器在美国，从中国跑比从美国跑，网络路径也远很多呀。
4 lr中监控的操作系统性能计数器的值本身就是从被监控机的机器上获取的，如果你lr监控机与被监控机之间的网络正常的话（不会造成网络传输有较大的延迟），两者的值应该是一样的。

作者: 金毅 时间: 2006-3-23 13:03
支持楼上的

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)