analysis中summary report中的响应时间和average reponse time的不一样

ireneyao

这是summary report里liboys事务的最小值，平均值和最大值

这是average transaction reponse time里liboys事务的最小值，平均值和最大值


怎么会差这么多？
这是同一次测试的结论，这种情况出现好几次了。sdlkfj7

Zee

采样方法不一样。

ireneyao

可是有的就不会哦sdlkfj7 ，10次测试中，有3次这种情况。
采样方法指的是采样时间间隔吗？那应该是所有的测试都会有这种情况，可是现在只是部分有这样。
zee版主可不可以把采样方法说的具体一点？

[ 本帖最后由 ireneyao 于 2007-5-9 14:54 编辑 ]

ireneyao

我看了controller里trans response time的采样时间间隔是5s，而analysis里的average transaction response time的采样时间间隔是4s，summary report里的数据是根据controller的采样时间来分析的吗？是不是因为这个所以summary和response time的值不一样？
那就又有新的疑问，从网页细分图里可以看到下面的图

这个图的采样时间间隔也是4s，图是liboys事务的网页细分，我理解它的所有组件平均时间相加应该就是average transcation response time的平均值，可是上面这个图相加的最小值是0.97，平均值是3.606，最大值是22.515
这样看来，这三个图给出的结论都不一样，各位可不可以解释一下为什么会这样？是不是我对这几个图的理解有错？

[ 本帖最后由 ireneyao 于 2007-5-9 17:21 编辑 ]

shanxi

analysis里的是一系列的数据累积的

比如你前面跑了4次场景，全部4次场景的数据累积得出

而controller里的只是第4次的数据

ireneyao

原帖由 shanxi 于 2007-5-9 17:04 发表
analysis里的是一系列的数据累积的

比如你前面跑了4次场景，全部4次场景的数据累积得出

而controller里的只是第4次的数据

谢谢回复，但是我不是很明白你的意思，“全部4次场景的数据累积得出”，可是我看analysis用的lrr文件并不是四次的，而是每一次单独的数据。
退一步说，如果按你的意思理解，那也不对，我给出的几副图都是同一个analysis里的数据，和你的说法不冲突的sdlkfj7

[ 本帖最后由 ireneyao 于 2007-5-9 17:13 编辑 ]

rickyzhu

不奇怪。

shanxi的说法应该不对，analysis分析的是一次场景的执行结果。

ireneyao

ricky版主，可不可以解释一下不奇怪的原因？是我理解错了吗

rickyzhu

哦，我以为是说最大最小之间为什么差别这么多呢，看错了。

我再仔细看看。多谢zee的提醒。

rickyzhu

可以把你的analysis的报告发给我，我看看。

shanxi

你可以看看下面这图：

我看的Raw data里面analysis分析的是4次运行后的总结果，
analysis里面的Graph Data显示的也是4次运行的结果，最后一行的数据跟Controler里面的数据完全相同

如果analysis里面的Raw Data跟Control里面的Raw Data一样，就不是我说的这了


另外你那个analysis采样时间是哪里看的？ Control里面默认的Server采样是3s

[ 本帖最后由 shanxi 于 2007-5-9 18:19 编辑 ]

Athenst

呵呵，我猜测这是LR的Bug～～

以前遇到过类似问题，烦得不得了，因为出不了测试报告…没法交差…会挨批…

测试报告上需要截图，summary report上的和average reponse time图上的值不一致，甚至差距颇大。更有甚者的是，average reponse time图上出现了Min、Max、Avg为同一个值的怪现象，最后我重装了LR，然后就不再出现这样的问题了。

是的，当时就是这样……

ireneyao

我把lrr文件压缩了发上来，谢谢大家sdlkfj2

log文件我没放进来，因为我把所有步骤都记录到log里，有4M多，如果有需要我再上传。

谢谢楼上的回答，希望不是bug，不然要重装，呵呵~~~sdlkfj5

[ 本帖最后由 ireneyao 于 2007-5-9 19:58 编辑 ]

ireneyao

我觉得你给的图是多次迭代的，那都是一次测试里的，不是多次测试的结果。个人意见sdlkfj3

potatofantasy

to ireneyao

summary report里面给出的，是整个测试过程中，这个事务的平均响应时间，而average reponse time图表里面，默认显示的是“图中所标示的那些点的平均响应时间”。所以两者当然是不一致的。你可以在legend columns options里面，去掉Graph Min、Graph Avg、Graph Max的选项，改为选中Min、Avg、Max三项。显示的值一般来说，就会和summary report里面的一样了。

另外，如果设置的事务里面有think time的话，也会影响summary report和average reponse time里面两个平均响应时间的一致性的。记得好像summary report里面的平均响应时间是忽略了think time的，而average reponse time里面是默认包括think time的（如果有的话）。之前和Mercury的人交流的时候提起过，时间有点久，忘了……

rickyzhu

说的有道理，学习了

ireneyao

哦~~~~，原来是这样，谢谢~~sdlkfj2
4楼的第二个问题，关于网页细分图和平均事务响应时间的关系，大家再帮我看一下吧，为什么网页细分图的总时间和平均事务响应时间对不上呢？
又一个新问题：
网页细分图中组件的下载时间是平均时间吗？下面这个图：
前三个组件的时间相加都已经大于web_concurrent_end的平均时间了，这里还有什么相关设置吗？我把组件的时间间隔改成1s了，这样应该是和average采样的时间间隔一样了吧？

不好意思，不知道怎么有两个图贴上来了，两个图的内容是一样的，呵呵sdlkfj1

[ 本帖最后由 ireneyao 于 2007-5-10 09:27 编辑 ]

Zee

我对potatofantasy 的解释有怀疑。
你把列给改成另几个值，这本身就和summary里面是一样，采样也是一样的，
这完全相同一点都不奇怪。
我已经把思考时间去掉了。弄个图上来给你看。

[ 本帖最后由 Zee 于 2007-5-10 09:49 编辑 ]

Zee

我已经说过采样时间不一样，那得到的结果呢，就有可能一样，有可能不一样。
我再放一个图上来，可能会让诸位更明白，我想说的是什么。


前提：
1,我已经去掉了思考时间。
2,我把图的采样时间改为了：115秒。（这个时间，我想不用我说是从哪里来的了吧？）

看下图：

是不是graph的最大，最小，平均，都是一样了？
是不是和Summary里的平均值也是一样的？
是不是变成四个点了？

ireneyao

我发上来的lrr文件是去掉思考时间的。明白zee版主的意思了，但是我重新看了一下10次的数据，把平均响应时间改回图象的值，然后把图象的采样时间间隔分别改成1s~5s，这5次的值都和summary的不一样。我觉得现在的问题应该在summary的采样方式上。我怎么才能知道summary的采样时间间隔呢？

大家不要忘了我还有一个和网页细分图有关的问题哦~~~~~sdlkfj2

[ 本帖最后由 ireneyao 于 2007-5-10 10:01 编辑 ]