analysis中summary report中的响应时间和average reponse time的不一样
这是summary report里liboys事务的最小值,平均值和最大值这是average transaction reponse time里liboys事务的最小值,平均值和最大值
怎么会差这么多?
这是同一次测试的结论,这种情况出现好几次了。sdlkfj7 采样方法不一样。 可是有的就不会哦sdlkfj7 ,10次测试中,有3次这种情况。
采样方法指的是采样时间间隔吗?那应该是所有的测试都会有这种情况,可是现在只是部分有这样。
zee版主可不可以把采样方法说的具体一点?
[ 本帖最后由 ireneyao 于 2007-5-9 14:54 编辑 ] 我看了controller里trans response time的采样时间间隔是5s,而analysis里的average transaction response time的采样时间间隔是4s,summary report里的数据是根据controller的采样时间来分析的吗?是不是因为这个所以summary和response time的值不一样?
那就又有新的疑问,从网页细分图里可以看到下面的图
这个图的采样时间间隔也是4s,图是liboys事务的网页细分,我理解它的所有组件平均时间相加应该就是average transcation response time的平均值,可是上面这个图相加的最小值是0.97,平均值是3.606,最大值是22.515
这样看来,这三个图给出的结论都不一样,各位可不可以解释一下为什么会这样?是不是我对这几个图的理解有错?
[ 本帖最后由 ireneyao 于 2007-5-9 17:21 编辑 ] analysis里的是一系列的数据累积的
比如你前面跑了4次场景,全部4次场景的数据累积得出
而controller里的只是第4次的数据 原帖由 shanxi 于 2007-5-9 17:04 发表 http://bbs.51testing.com/images/common/back.gif
analysis里的是一系列的数据累积的
比如你前面跑了4次场景,全部4次场景的数据累积得出
而controller里的只是第4次的数据
谢谢回复,但是我不是很明白你的意思,“全部4次场景的数据累积得出”,可是我看analysis用的lrr文件并不是四次的,而是每一次单独的数据。
退一步说,如果按你的意思理解,那也不对,我给出的几副图都是同一个analysis里的数据,和你的说法不冲突的sdlkfj7
[ 本帖最后由 ireneyao 于 2007-5-9 17:13 编辑 ] 不奇怪。
shanxi的说法应该不对,analysis分析的是一次场景的执行结果。 ricky版主,可不可以解释一下不奇怪的原因?是我理解错了吗 哦,我以为是说最大最小之间为什么差别这么多呢,看错了。
我再仔细看看。多谢zee的提醒。
回复 #8 ireneyao 的帖子
可以把你的analysis的报告发给我,我看看。 你可以看看下面这图:我看的Raw data里面analysis分析的是4次运行后的总结果,
analysis里面的Graph Data显示的也是4次运行的结果,最后一行的数据跟Controler里面的数据完全相同
如果analysis里面的Raw Data跟Control里面的Raw Data一样,就不是我说的这了
另外你那个analysis采样时间是哪里看的? Control里面默认的Server采样是3s
[ 本帖最后由 shanxi 于 2007-5-9 18:19 编辑 ] 呵呵,我猜测这是LR的Bug~~
以前遇到过类似问题,烦得不得了,因为出不了测试报告…没法交差…会挨批…
测试报告上需要截图,summary report上的和average reponse time图上的值不一致,甚至差距颇大。更有甚者的是,average reponse time图上出现了Min、Max、Avg为同一个值的怪现象,最后我重装了LR,然后就不再出现这样的问题了。
是的,当时就是这样…… 我把lrr文件压缩了发上来,谢谢大家sdlkfj2
log文件我没放进来,因为我把所有步骤都记录到log里,有4M多,如果有需要我再上传。
谢谢楼上的回答,希望不是bug,不然要重装,呵呵~~~sdlkfj5
[ 本帖最后由 ireneyao 于 2007-5-9 19:58 编辑 ]
回复 #11 shanxi 的帖子
我觉得你给的图是多次迭代的,那都是一次测试里的,不是多次测试的结果。个人意见sdlkfj3 to ireneyaosummary report里面给出的,是整个测试过程中,这个事务的平均响应时间,而average reponse time图表里面,默认显示的是“图中所标示的那些点的平均响应时间”。所以两者当然是不一致的。你可以在legend columns options里面,去掉Graph Min、Graph Avg、Graph Max的选项,改为选中Min、Avg、Max三项。显示的值一般来说,就会和summary report里面的一样了。
另外,如果设置的事务里面有think time的话,也会影响summary report和average reponse time里面两个平均响应时间的一致性的。记得好像summary report里面的平均响应时间是忽略了think time的,而average reponse time里面是默认包括think time的(如果有的话)。之前和Mercury的人交流的时候提起过,时间有点久,忘了……
回复 #15 potatofantasy 的帖子
说的有道理,学习了回复 #15 potatofantasy 的帖子
哦~~~~,原来是这样,谢谢~~sdlkfj24楼的第二个问题,关于网页细分图和平均事务响应时间的关系,大家再帮我看一下吧,为什么网页细分图的总时间和平均事务响应时间对不上呢?
又一个新问题:
网页细分图中组件的下载时间是平均时间吗?下面这个图:
前三个组件的时间相加都已经大于web_concurrent_end的平均时间了,这里还有什么相关设置吗?我把组件的时间间隔改成1s了,这样应该是和average采样的时间间隔一样了吧?
不好意思,不知道怎么有两个图贴上来了,两个图的内容是一样的,呵呵sdlkfj1
[ 本帖最后由 ireneyao 于 2007-5-10 09:27 编辑 ] 我对potatofantasy 的解释有怀疑。
你把列给改成另几个值,这本身就和summary里面是一样,采样也是一样的,
这完全相同一点都不奇怪。
我已经把思考时间去掉了。弄个图上来给你看。
[ 本帖最后由 Zee 于 2007-5-10 09:49 编辑 ] 我已经说过采样时间不一样,那得到的结果呢,就有可能一样,有可能不一样。
我再放一个图上来,可能会让诸位更明白,我想说的是什么。
前提:
1,我已经去掉了思考时间。
2,我把图的采样时间改为了:115秒。(这个时间,我想不用我说是从哪里来的了吧?)
看下图:
是不是graph的最大,最小,平均,都是一样了?
是不是和Summary里的平均值也是一样的?
是不是变成四个点了? 我发上来的lrr文件是去掉思考时间的。明白zee版主的意思了,但是我重新看了一下10次的数据,把平均响应时间改回图象的值,然后把图象的采样时间间隔分别改成1s~5s,这5次的值都和summary的不一样。我觉得现在的问题应该在summary的采样方式上。我怎么才能知道summary的采样时间间隔呢?
大家不要忘了我还有一个和网页细分图有关的问题哦~~~~~sdlkfj2
[ 本帖最后由 ireneyao 于 2007-5-10 10:01 编辑 ]