jackei 2006-11-15 00:55
《LoadRunner 没有告诉你的》之二——描述性统计与性能结果分析(续)
[font=宋体]
[b][font=宋体]版权声明[/font][/b][font=宋体]:本文可以被转载,但是在未经本人许可前,不得用于任何商业用途或其他以盈利为目的的用途。本人保留对本文的一切权利。如需转载,请在转载是保留此版权声明,并保证本文的完整性。也请转贴者理解创作的辛劳,尊重作者的劳动成果。[/font]
[font=宋体]作者:陈雷[/font][font=Arial] (Jackei)[/font][font=Arial][/font]
[font=宋体]邮箱:[/font][email=jackeichan@gmail.com][font=Arial][color=#0000ff]jackeichan@gmail.com[/color][/font][/email]
[font=Arial]Blog[/font][font=宋体]:[/font][url=http://jackei.cnblogs.com/][font=Arial][color=#800080]http://jackei.cnblogs.com[/color][/font][/url]
[font=Arial][/font]
[/font][font=宋体][/font]
[font=宋体][/font]
[font=宋体]数据统计分析的思路与分析结果的展示方式是同样重要的,有了好的分析思路,但是却不懂得如何更好的展示分析结果和数据来印证自己的分析,就像一个人满腹经纶却不知该如何一展雄才[/font] ^_^
[font=宋体]一图胜千言,所以这次我会用两张图表来说明“描述性统计”在性能测试结果分析中的其他应用。[/font]
[font=宋体][img=765,506]http://www.cnblogs.com/images/cnblogs_com/jackei/22605/o_modified-001.jpg[/img]
在这张图中,我们继续使用了[/font][font=宋体]上一篇文章——[url=http://www.cnblogs.com/jackei/archive/2006/11/11/557972.html]《描述性统计与结果分析》[/url]一文中的方法[/font][font=宋体],对响应时间的分布情况来进行分析。上面这张图所使用的数据是通过对[/font][font=宋体, MS Song] Google.com [/font][font=宋体]首页进行测试得来的,在测试中分别使用[/font][font=宋体, MS Song]10/25/50/75/100 [/font][font=宋体]几个不同级别的并发用户数量。通过这张图表,我们可以通过横向比较和纵向比较,更清晰的了解到被测应用在不同级别的负载下的响应能力。
[/font]
[font=宋体][img=717,482]http://www.cnblogs.com/images/cnblogs_com/jackei/22605/o_modified-002.jpg[/img][/font]
[font=宋体]这张图所使用的数据与第一张图一样,但是我们使用了另外一个视角来对数据进行展示。表中最左侧的[/font]2000/5000/10000/50000[font=宋体]的单位是毫秒,分别表示了在整个测试过程中,响应时间在[/font]0-2000[font=宋体]毫秒范围内的事务数量占成功的事务总数的百分比,响应时间在[/font]2001-5000[font=宋体]毫秒范围内的事务数量占成功的事务总数的百分比,响应时间在[/font]5001-10000[font=宋体]毫秒范围内的事务数量占成功的事务总数的百分比,以及响应时间在[/font]10001-50000[font=宋体]毫秒范围内的事务数量占成功的事务总数的百分比。[/font]
[font=宋体]这几个时间范围的确定是参考了业内比较通行的“[/font]2-5-10[font=宋体]原则”——当然你也可以为自己的测试制定其他标准,只要得到企业内的承认就可以。所谓的“[/font]2-5-10[font=宋体]原则”,简单说,就是当用户能够在[/font]2[font=宋体]秒以内得到响应时,会感觉系统的响应很快;当用户在[/font]2-5[font=宋体]秒之间得到响应时,会感觉系统的响应速度还可以;当用户在[/font]5-10[font=宋体]秒以内得到响应时,会感觉系统的响应速度很慢,但是还可以接受;而当用户在超过[/font]10[font=宋体]秒后仍然无法得到响应时,会感觉系统糟透了,或者认为系统已经失去响应,而选择离开这个[/font]Web[font=宋体]站点,或者发起第二次请求。[/font]
[font=宋体]那么从上面的图表中可以看到,当并发用户数量为[/font]10[font=宋体]时,超过[/font]95[font=宋体]%的用户都可以在[/font]5[font=宋体]秒内得到响应;当并发用户数量达到[/font]25[font=宋体]时,已经有[/font]80[font=宋体]%的事务的响应时间处在危险的临界值,而且有相当数量的事务的响应时间超过了用户可以容忍的限度;随着并发用户数量的进一步增加,超过用户容忍限度的事务越来越多,当并发用户数到达[/font]75[font=宋体]时,系统几乎已经无法为任何用户提供响应了。[/font]
[font=宋体]这张图表也同样可以用于对不同负载下事务的成功、失败比例的比较分析。[/font]
Note[font=宋体]:上面两个图表中的数据,主要通过[/font]Excel [font=宋体]中提供的[/font]FREQUENCY[font=宋体],[/font]AVERAGE[font=宋体],[/font]MAX[font=宋体],[/font]MIN[font=宋体]和[/font]PERCENTILE[font=宋体]几个统计函数获得,具体的使用方法请参考[/font]Excel[font=宋体]帮助手册。[/font]
[[i] 本帖最后由 jackei 于 2006-11-22 16:22 编辑 [/i]]
janezhang815 2006-11-15 10:22
第一张图
第一张图中的百分比代表的是并发用户数的百分比,研究这个百分比有什么特殊的意义吗?
jackei 2006-11-15 12:07
[quote]原帖由 [i]janezhang815[/i] 于 2006-11-15 10:22 发表
第一张图中的百分比代表的是并发用户数的百分比,研究这个百分比有什么特殊的意义吗? [/quote]
这里的 百分比 不是并发用户数的百分比,而是响应时间的分布情况。
各个列的具体含义如下。
MEAN 所有成功的请求的响应时间的平均值
MIN 响应时间的最小值
50 th(60/70/80/90/95 th) 如果把响应时间从小到大顺序排序,那么50%的请求的响应时间在这个范围之内。后面的60/70/80/90/95 th 也是同样的含义
MAX 响应时间的最大值
wuhuawu09 2006-11-27 16:11
怎么生成上面这种柱状图而且带表格数据呀???
jackei 2006-11-27 22:12
[quote]原帖由 [i]wuhuawu09[/i] 于 2006-11-27 16:11 发表
怎么生成上面这种柱状图而且带表格数据呀??? [/quote]
其实这只是 Excel 中的 柱状图 而已,带数据是因为在生成图表时选中了“数据表”选项。可以查查 Excel 的帮助 ^_^
wuhuawu09 2006-11-28 09:52
好的,谢谢.我以为LR自己生成的呢.
janezhang815 2006-11-28 10:27
明白了
谢谢
liulangchina 2006-11-28 12:02
恩,还可以,看了有点小蒙!!哦。,
peach8977 2007-9-19 10:15
我怎么都看不到图片?sdlkfj7