google搜索
站内搜索
软件测试门户
|
软件测试培训
|
文章资料精选
|
软件测试论坛
|
测试解决方案
|
软件测试博客
|
测试招聘求职
注册
登录
搜索
调查问卷
鲜花鸡蛋
帮助
51Testing软件测试论坛
»
[LoadRunner]
» 性能测试场景设计思想
‹‹ 上一主题
|
下一主题 ››
发新话题
发布投票
发布商品
发布悬赏
发布活动
发布辩论
发布视频
打印
[转贴]
性能测试场景设计思想
wing1799
51Testing就业学员
个人空间
发短消息
加为好友
当前离线
1
#
大
中
小
发表于 2007-10-3 14:49
只看该作者
性能测试场景设计思想
前段时间有幸收到珠海X公司性能题目,呵呵,以下是对公司产品性能测试的总结。个人认为有关性能测试场景问题,其实更佳着重于对性能测试目的考究。
验证测试是用于验证在特定的场景、时间、压力、环境和操作方式下系统能够正常的运行,服务器、应用系统和网络环境等软硬件设施还能否良好的支撑这些情况下用户的使用。验证性测试主要针对有明确的压力目标和预期结果,验证系统在这种压力下的各方面反映能够达到预期结果。
主要分以下几种:
压力测试:已知系统高峰期使用人数,验证各事务在最大并发数(通过高峰期人数换算)下事务响应时间能够达到客户要求。系统各性能指标在这种压力下是否还在正常数值之内。系统是否会因这样的压力导致不良反应(如:宕机、应用异常中止等)。我觉得还有数据库死锁,数据库忙等问题
Ramp Up 增量设计:如并发用户为75人,系统注册用户为1500人,以5%-7%作为并发用户参考值。一般以每15s加载5人的方式进行增压设计,该数值主要参考测试加压机性能,建议Run几次。以事务通过率与错误率衡量实际加载方式。
Ramp Up增量设计目标: 寻找已增量方式加压系统性能瓶颈位置,抓住出现的性能拐点时机,一般常用参考Hits点击率与吞吐量、CPU、内存使用情况综合判断。模拟高峰期使用人数,如早晨的登录,下班后的退出,工资发送时的消息系统等。
另一种极限模拟方式,可视为在峰值压力情况下同时点击事务操作的系统极限操作指标。加压方式不变,在各脚本事务点中设置同集合点名称(如:lr_rendzvous("same");)在场景设计中,使用事务点集合策略。以同时达到集合点百分率为标准,同时释放所有正在Run的Vuser。
稳定性测试:已知系统高峰期使用人数、各事务操作频率等。设计综合测试场景,测试时将每个场景按照一定人数比率一起运行,模拟用户使用数年的情况。并监控在测试中,系统各性能指标在这种压力下是否能保持正常数值。事务响应时间是否会出现波动或随测试时间增涨而增加。系统是否会在测试期间内发生如宕机、应用中止等异常情况。
根据上述测试中,各事务条件下出现性能拐点的位置,已确定稳定性测试并发用户人数。仍然根据实际测试服务器(加压机、应用服务器、数据服务器三方性能),估算最终并发用户人数。
场景设计思想:从稳定性测试场景的设计意义,应分多种情况考虑:
针对同一个场景为例,以下以公文附件上传为例简要分析场景设计思想:
1)场景一:已压力测试环境下性能拐点的并发用户为设计测试场景,目的验证极限压力情况下测试服务器各性能指标。
2)场景二:根据压力测试环境中CPU、内存等指标选取服务器所能承受最大压力的50%来确定并发用户数。
测试方法:采用1)Ramp Up-Load all Vusers simultaneously
2)Duration-Run Indefinitely
3)在Sechedule-勾选Initalize all Vusers before Run
容错性测试:通过模拟一些非正常情况(如:服务器突然断电、网络时断时续、服务器硬盘空间不足等),验证系统在发生这些情况时是否能够有自动处理机制以保障系统的正常运行或恢复运行措施。如有HA(自动容灾系统),还可以专门针对这些自动保护系统进行另外的测试。验证其能否有效触发保护措施。
问题排除性测试:通过原有案例或经验判断,针对系统中曾经发生问题或怀疑存在隐患的模块进行验证测试。验证这些模块是否还会发生同样的性能问题。如:上传附件模块的内存泄露问题、地址本模块优化、开启Tivoli性能监控对OA系统性能的影响等等。
测评测试是用于获取系统的关键性能指标点,而进行的相关测试。主要是针对预先没有明确的预期测试结果,而是要通过测试获取在特定压力场景下的性能指标(如:事务响应时间、最大并发用户数等)。
评测事务交易时间:为获取某事务在特定压力下的响应时间而进行的测试活动。通过模拟已知客户高峰期的各压力值或预期所能承受的压力值,获取事务在这种压力下的响应时间。
评测事务最大并发用户数:为获取某事务在特定系统环境下所能承受的最大并发用户数而进行的测试活动。通过模拟真实环境或直接采用真实环境,评测在这种环境下事务所能承受的最大并发用户数。判定标准阈值需预先定义(如响应时间,CPU占用率,内存占用率,已出现点击率峰值,已出现吞吐量峰值等)。
评测系统最大并发用户数:为获取整个系统所能够承受的最大并发用户数而进行的的测试活动。通过预先分析项目各主要模块的使用比率和频率,定义各事务在综合场景中所占的比率,以比率方式分配各事务并发用户数。模拟真实环境或直接采用真实环境,评测在这种环境下系统所能承受的最大并发用户数。判定标准阀值预先定义(如响应时间,CPU占用率,内存占用率,已出现点击率峰值,已出现吞吐量峰值等)。取值标准以木桶法则为准(并发数最小的事务为整个系统的并发数)。
评测不同数据库数据量对性能的影响:针对不同数据库数据量的测试,将测试结果进行对比,分析发现数据库中各表的数据量对事务性能的影响。得以预先判断系统长时间运行后,或某些模块客户要求数据量较大时可能存在的隐患。
问题定位测试在通过以上测试或用户实际操作已经发现系统中的性能问题或怀疑已存在性能问题。需通过响应的测试场景重现问题或定义问题。如有可能,可以直接找出引起性能问题所在的代码或模块。
该类测试主要还是通过测试出问题的脚本场景,并可以增加发现和检测的工具,如开启Tivoli性能监控、开启HeapDump输出、Linux资源监控命令等。并在场景运行过程中辅以手工测试。
UID
115414
帖子
71
精华
0
积分
177
综合技术指数
177
生活情趣指数
0
鲜花
3
鸡蛋
0
阅读权限
10
在线时间
26 小时
注册时间
2007-4-25
最后登录
2008-3-17
查看详细资料
TOP
1qazse4
高级站友
个人空间
发短消息
加为好友
当前离线
2
#
大
中
小
发表于 2007-10-4 12:14
只看该作者
好,支持
希望楼主以后多发点关于性能测试思想方面的资料
UID
140859
帖子
394
精华
0
积分
527
综合技术指数
527
生活情趣指数
0
鲜花
2
鸡蛋
3
阅读权限
10
在线时间
141 小时
注册时间
2007-9-6
最后登录
2008-12-5
查看详细资料
TOP
rickyzhu
版主
我自动化,故我存在
个人空间
发短消息
加为好友
当前离线
3
#
大
中
小
发表于 2007-10-5 14:56
只看该作者
帖子紧贴实际项目,分析的相当不错,顶这样的帖子。
欢迎访问Ricky的专业个人测试博客
http://www.rickyzhu.com
专注于测试自动化,性能测试以及测试工具的研究
UID
37286
帖子
1737
精华
0
积分
2071
综合技术指数
2068
生活情趣指数
3
鲜花
211
鸡蛋
6
阅读权限
100
在线时间
249 小时
注册时间
2006-1-12
最后登录
2008-12-4
查看详细资料
TOP
sinforfzw
中级站友
个人空间
发短消息
加为好友
当前离线
4
#
大
中
小
发表于 2007-10-5 18:59
只看该作者
回复 1# 的帖子
好贴 顶一下
UID
136007
帖子
19
精华
0
积分
98
综合技术指数
98
生活情趣指数
0
鲜花
0
鸡蛋
0
阅读权限
10
在线时间
15 小时
注册时间
2007-8-11
最后登录
2008-1-28
查看详细资料
TOP
huipingzhai
高级站友
个人空间
发短消息
加为好友
当前离线
5
#
大
中
小
发表于 2007-10-8 11:20
只看该作者
回复 1# 的帖子
很实用的一些测试数据信息,谢谢楼主
UID
2047
帖子
202
精华
0
积分
215
综合技术指数
207
生活情趣指数
8
鲜花
0
鸡蛋
0
阅读权限
10
在线时间
69 小时
注册时间
2004-8-18
最后登录
2008-11-20
查看详细资料
TOP
土豆飞侠
中级站友
个人空间
发短消息
加为好友
当前离线
6
#
大
中
小
发表于 2007-10-8 12:07
只看该作者
能否举个例子
我觉得这样是不是太理论化了,对我们这些新手还是来个例子比较实际,感谢搂主!
UID
42518
帖子
80
精华
0
积分
118
综合技术指数
118
生活情趣指数
0
鲜花
0
鸡蛋
0
阅读权限
10
在线时间
31 小时
注册时间
2006-2-28
最后登录
2008-9-1
查看详细资料
TOP
corrine-li
本站支柱
个人空间
发短消息
加为好友
当前离线
7
#
大
中
小
发表于 2007-10-8 12:52
只看该作者
顶一下,回头看。
要有水的精神,积累到一定的厚度,就可以冲向大海!
UID
44244
帖子
630
精华
0
积分
606
综合技术指数
511
生活情趣指数
95
鲜花
1
鸡蛋
3
阅读权限
15
来自
西安
在线时间
316 小时
注册时间
2006-3-10
最后登录
2008-12-4
查看详细资料
TOP
xue1
中级站友
个人空间
发短消息
加为好友
当前离线
8
#
大
中
小
发表于 2007-10-17 08:51
只看该作者
好东西,值得学习
UID
146592
帖子
10
精华
0
积分
102
综合技术指数
102
生活情趣指数
0
鲜花
0
鸡蛋
0
阅读权限
10
在线时间
1 小时
注册时间
2007-10-11
最后登录
2008-3-13
查看详细资料
TOP
cuizhihui
高级站友
个人空间
发短消息
加为好友
当前离线
9
#
大
中
小
发表于 2007-10-17 08:58
只看该作者
回复
好贴,拷下,回头学习。。。
UID
71943
帖子
343
精华
0
积分
460
综合技术指数
441
生活情趣指数
19
鲜花
0
鸡蛋
0
阅读权限
10
在线时间
165 小时
注册时间
2006-8-9
最后登录
2008-11-29
查看详细资料
TOP
meiliqingdao
51Testing就业学员
个人空间
发短消息
加为好友
当前离线
10
#
大
中
小
发表于 2008-3-19 17:03
只看该作者
好贴,要顶!
UID
80767
帖子
146
精华
0
积分
204
综合技术指数
201
生活情趣指数
3
鲜花
3
鸡蛋
0
阅读权限
10
来自
青岛
在线时间
155 小时
注册时间
2006-10-7
最后登录
2008-12-3
查看详细资料
TOP
‹‹ 上一主题
|
下一主题 ››
版块跳转 ...
> [软件测试新手上路]
> [软件测试新手上路精华区]
> [每日一贴]
> [测试资源共享区]
> [软件测试职业发展]
> [企业招聘]
> [人才频道]
> [学员免费推荐]
> [个人求职]
> [简历与面试]
> [51Testing软件测试沙龙]
> [软件测试每周一问]
> [话题PK]
> [测试交流QQ群与MSN群]
> 【Software Testing English Column】
> 译文征稿活动
> [未决问题区]
> [软件质量管理]
> [质量管理精华区]
> [软件缺陷管理]
> [软件测试管理]
> [软件配置管理]
> [VSS/PVCS]
> [CVS/Subversion/SVN]
> [ClearCase]
> [软件需求管理]
> [嵌入式软件测试]
> [手机测试]
> [软件测试外包]
> [本地化软件测试与国际化软件测试]
> [通用软件产品测试]
> [游戏测试]
> [金融证券行业测试]
> [电信行业测试]
> [电子商务测试]
> [TestDirector&Quality Center]
> [TD&QC精华区]
> [QuickTest Pro]
> [QTP精华区]
> [LoadRunner]
> [LR精华区]
> [WinRunner]
> [WR精华区]
> [Robot]
> [Robot 精华区]
> [Rational Functional Tester]
> [其他工具与自动化测试框架]
> [Borland Silk系列工具]
> [JMeter]
> [开源测试工具]
> [测试用例设计]
> [单元测试与集成测试]
> [xUnit]
> [日构建和Ant]
> [系统测试]
> [WEB测试]
> [性能测试]
> [安全测试]
> [测试系统架构]
> [操作系统]
> [J2EE与中间件]
> [.Net平台]
> [数据库]
> [前沿技术、测试方法]
> [灌水乐园]
> [游戏动漫]
> [流行影音]
> [健康美食]
> [电子数码]
> [运动旅游]
> [奖励专区]
> 双节送祝福抢楼活动
> 07年度最受会员欢迎活动评选
> 07年度论坛最佳版主评选
> 众志成城 抗震救灾
> 最佳博客评选
> 最佳会员评选
> [投诉建议区]
> [版主申请任命专区]
控制面板首页
编辑个人资料
积分记录
公众用户组
个人空间管理
升级个人空间
当前时区 GMT+8, 现在时间是 2008-12-5 14:38Copyright(C)
上海博为峰软件技术有限公司
2001-2007 电话:021-64471599-8017
当您在访问网站、论坛及博客过程中遇到问题时可发送email:
webmaster@51testing.com
或发送论坛短信至管理员
“
风在吹
”
软件测试每周一问,答帖有奖
系统培训 解决工作难题
如何更高效的进行回归测试?
测试人员会被开发人员取代?
《51测试天地》第11期正式发布
2008中国软件测试从业人员调查问卷
第29期软件测试沙龙上海站开始报名
软件测试培训 签订合同保证就业
2008中国软件测试从业人员调查问卷火热进行ing!!!
"51Testing论坛招贤纳新-诚招版主"
软件测试整体解决方案,尽在51Testing
测试人员可以被开发人员取代吗?
2008中国软件测试从业人员调查问卷火热进行ing!!!
"51Testing论坛招贤纳新-诚招版主"
软件测试整体解决方案,尽在51Testing
"51Testing论坛招贤纳新-诚招版主"
测试人员可以被开发人员取代吗?
2008中国软件测试从业人员调查问卷火热进行ing!!!