《LoadRunner 没有告诉你的》之一——描述性统计与性能结果分析

jackei · 发表于 2006-11-11 23:24:21

版权声明：本文可以被转载，但是在未经本人许可前，不得用于任何商业用途或其他以盈利为目的的用途。本人保留对本文的一切权利。如需转载，请在转载是保留此版权声明，并保证本文的完整性。也请转贴者理解创作的辛劳，尊重作者的劳动成果。
作者：陈雷 (Jackei)
邮箱：jackeichan@gmail.com
Blog：http://jackei.cnblogs.com

LoadRunner中的90％响应时间是什么意思？这个值在进行性能分析时有什么作用？本文争取用最简洁的文字来解答这个问题，并引申出“描述性统计”方法在性能测试结果分析中的应用。

为什么要有90％用户响应时间？因为在评估一次测试的结果时，仅仅有平均事务响应时间是不够的。为什么这么说？你可以试着想想，是否平均事务响应时间满足了性能需求就表示系统的性能已经满足了绝大多数用户的要求？
假如有两组测试结果，响应时间分别是 {1，3，5，10，16} 和 {5，6，7，8，9}，它们的平均值都是7，你认为哪次测试的结果更理想？
假如有一次测试，总共有100个请求被响应，其中最小响应时间为0.02秒，最大响应时间为110秒，平均事务响应时间为4.7秒，你会不会想到最小和最大响应时间如此大的偏差是否会导致平均值本身并不可信？
为了解答上面的疑问，我们先来看一张表：

在上面这个表中包含了几个不同的列，其含义如下：
CmdID 测试时被请求的页面
NUM    响应成功的请求数量
MEAN 所有成功的请求的响应时间的平均值
STD DEV    标准差（这个值的作用将在下一篇文章中重点介绍）
MIN             响应时间的最小值
50 th(60/70/80/90/95 th)       如果把响应时间从小到大顺序排序，那么50％的请求的响应时间在这个范围之内。后面的60/70/80/90/95 th 也是同样的含义
MAX    响应时间的最大值
我想看完了上面的这个表和各列的解释，不用多说大家也可以明白我的意思了。我把结论性的东西整理一下：
1.    90％用户响应时间在 LoadRunner中是可以设置的，你可以改为80％或95％；
2.    对于这个表，LoadRunner中是没有直接提供的，你可以把LR中的原始数据导出到Excel中，并使用Excel中的PERCENTILE 函数很简单的算出不同百分比用户请求的响应时间分布情况；
3.    从上面的表中来看，对于Home Page来说，平均事务响应时间(MEAN)只同70％用户响应时间相一致。也就是说假如我们确定Home Page的响应时间应该在5秒内，那么从平均事务响应时间来看是满足的，但是实际上有10-20％的用户请求的响应时间是大于这个值的；对于Page 1也是一样，假如我们确定对于Page 1 的请求应该在3秒内得到响应，虽然平均事务响应时间是满足要求的，但是实际上有20-30％的用户请求的响应时间是超过了我们的要求的；
4.    你可以在95 th之后继续添加96/ 97/ 98/ 99/ 99.9/ 99.99 th，并利用Excel的图表功能画一条曲线，来更加清晰表现出系统响应时间的分布情况。这时候你也许会发现，那个最大值的出现几率只不过是千分之一甚至万分之一，而且99％的用户请求的响应时间都是在性能需求所定义的范围之内的；
5.    如果你想使用这种方法来评估系统的性能，一个推荐的做法是尽可能让你的测试场景运行的时间长一些，因为当你获得的测试数据越多，这个响应时间的分布曲线就越接近真实情况；
6.    在确定性能需求时，你可以用平均事务响应时间来衡量系统的性能，也可以用90％或95％用户响应时间来作为度量标准，它们并不冲突。实际上，在定义某些系统的性能需求时，一定范围内的请求失败也是可以被接受的；
7.    上面提到的这些内容其实是与工具无关的，只要你可以得到原始的响应时间记录，无论是使用LoadRunner还是JMeter或者OpenSTA，你都可以用这些方法和思路来评估你的系统的性能。

事实上，在性能测试领域中还有更多的东西是目前的商业测试工具或者开源测试工具都没有专门讲述的——换句话说，性能测试仅仅有工具是不够的。我们还需要更多其他领域的知识，例如数学和统计学，来帮助我们更好的分析性能数据，找到隐藏在那些数据之下的真相。

欢迎各位同行高手灌水拍砖 ^_^
后续请继续关注《LoadRunner 没有告诉你的》之二——性能测试分析中Std.(标准差) 的应用。

[ 本帖最后由 jackei 于 2006-11-22 16:23 编辑 ]

larrygao · 发表于 2006-11-12 01:25:47

非常好~学习了。。。

ok3115134 · 发表于 2006-11-12 09:06:34

对我来说还是太深奥拉。。。继续关注

tacy_lee · 发表于 2006-11-12 10:31:34

其实这些数据你可以通过lr的analysis直接得到，lr提供了三种图：压力变化事务相应时间图，给定时间内的事务相应时间图，和事务响应时间分布比例

jackei · 发表于 2006-11-12 19:18:46

呵呵，楼上说的没错。不过我希望大家不要过多的关注于这个功能是否在LR中提供了，而是考虑这种分析方法本身。而且文中也提到了如何正确的应用这种方法：如果你想使用这种方法来评估系统的性能，一个推荐的做法是尽可能让你的测试场景运行的时间长一些，因为当你获得的测试数据越多，这个响应时间的分布曲线就越接近真实情况。

对于商业工具来说，的确提供了丰富的功能，但是请注意，在这些功能的背后很蕴含着很多与测试有关或无关的知识，而且其中有很多还是做好性能测试所必需的基础知识，例如数学和统计学。只有更好的去理解了性能测试本身的原理和知识，我们才能更好的利用工具来帮助我们完成工作。

希望有更多的机会更坛子里的高手们交流 sdlkfj2

jackei · 发表于 2006-11-12 19:19:29

有朋友问到是否这篇文章是想说明90％这个值要比平均值更加可信？我想这并不是我的本意。
正如本文开头提到的，我系统从90％这个点引出“‘描述性统计’方法在性能测试结果分析中的应用”这个话题。我并不希望看到这篇文章的同行迷信于平均事务响应时间或者90％用户响应时间。正如文中所描述的，应当通过对测试结果分布情况的分析，再结合对其他数据的分析来了解系统的性能。

这篇文章是对描述性统计在性能测试结果分析中的一种应用，更多关于描述性统计的资料，请参见《统计学原理》或者下面的链接
http://www.google.com/search?q=% ... 9169678358033726401

tacy_lee · 发表于 2006-11-12 19:38:06

呵呵只是想告诉大家，这些数据图表可以通过LR直接获取，不用到excel中去生成，方便一点

很赞成你的文章，其实一个平均值并不能描述你的最终结果，更多的时候你需要知道响应时间随压力的变化曲线；在压力下，数据的分布范围，有多少用户的体验良好，多少用户可能会放弃他的浏览；这些对于你的测试才有根多的意义，而不是空洞的几个数据。

Zee · 发表于 2006-11-13 00:24:26

我最赞同的是这一句：引申出“描述性统计”方法在性能测试结果分析中的应用。

jackei · 发表于 2006-11-13 01:18:54

原帖由 Zee 于 2006-11-13 00:24 发表
我最赞同的是这一句：引申出“描述性统计”方法在性能测试结果分析中的应用。

嗯，这也是我的本意 sdlkfj3

wuhuawu09 · 发表于 2006-11-27 13:27:29

学习了~~谢谢LZ及各位版主.....

lavender2004 · 发表于 2006-11-28 13:43:36

值得学习的东西，但现在对我来说还是太高深了

liulangchina · 发表于 2006-11-30 11:11:17

dengdai zhong ..................

yayapang · 发表于 2006-12-1 11:19:10

弓虽，向各位元老学习！

morriam · 发表于 2006-12-4 16:11:26

我是来学习的～ sdlkfj2

sealin · 发表于 2006-12-19 00:49:21

感谢楼主，明白ing...

yandaju · 发表于 2011-8-15 11:01:06

非常受用，感谢楼主！

ymwang119 · 发表于 2011-11-29 22:34:16

顶贴，学习一下

		自动登录	找回密码
密码			(注-册)加入51Testing

[原创] 《LoadRunner 没有告诉你的》之一——描述性统计与性能结果分析

相关帖子

回答另外一位朋友的提问

站长推荐 /1