51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 18343|回复: 39
打印 上一主题 下一主题

软件性能测试(原创)

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2004-11-21 12:05:05 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
各种软件在系统实施过程中,需要满足客户的一些特殊要求。如果软件系统没有经过测试和优化,软件系统将无法满足用户的需求,还会给软件在实际应用中带来很大的风险。一些公司缺乏必要的测试手段和工具知识导致测试不彻底,其中性能测试是整个软件测试中一个重要方面,如何做好性能测试,怎么做性能测试是在测试人员之间和论坛上经常讨论的一个话题。 目的: 为什么进行性能测试呢? 目的是验证软件系统是否能够达到用户提出的性能指标,同时发现软件系统中存在的性能瓶颈,优化软件,最后起到优化系统的目的。 包括以下几个方面 一. 评估系统的能力,测试中得到的负荷和响应时间数据可以被用于验证所计划的模型的能力,并帮助作出决策。 二. 识别体系中的弱点:受控的负荷可以被增加到一个极端的水平,并突破它,从而修复体系的瓶颈或薄弱的地方。 三. 系统调优:重复运行测试,验证调整系统的活动得到了预期的结果,从而改进性能。检测软件中的问题:长时间的测试执行可导致程序发生由于内存泄露引起的失败,揭示程序中的隐含的问题或冲突。 四. 验证稳定性(resilience)可靠性(reliability):在一个生产负荷下执行测试一定的时间是评估系统稳定性和可靠性是否满足要求的唯一方法。 定义: 性能测试类型包括负载测试,强度测试,容量测试等 负载测试:负载测试是一种性能测试指数据在超负荷环境中运行,程序是否能够承担。 强度测试: 强度测试是一种性能测试,他在系统资源特别低的情况下软件系统运行情况。 容量测试:确定系统可处理同时在线的最大用户数 观察指标: 性能测试主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。负载测试和压力测试都属于性能测试,两者可以结合进行。通过负载测试,确定在各种工作负载下系统的性能,目标是测试当负载逐渐增加时,系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接收的性能点,来获得系统能提供的最大服务级别的测试。 在实际中作中我们经常会对两种类型软件进行测试:bs和cs,这两方面的性能指标一般需要哪些内容呢? Bs结构程序一般会关注的通用指标如下(简): Web服务器指标指标: * Avg Rps: 平均每秒钟响应次数=总请求时间 / 秒数; * Avg time to last byte per terstion (mstes):平均每秒业务角本的迭代次数 ,有人会把这两者混淆; * Successful Rounds:成功的请求; * Failed Rounds :失败的请求; * Successful Hits :成功的点击次数; * Failed Hits :失败的点击次数; * Hits Per Second :每秒点击次数; * Successful Hits Per Second :每秒成功的点击次数; * Failed Hits Per Second :每秒失败的点击次数; * Attempted Connections :尝试链接数; CS结构程序,由于一般软件后台通常为数据库,所以我们更注重数据库的测试指标: * User 0 Connections :用户连接数,也就是数据库的连接数量; * Number of deadlocks:数据库死锁; * Butter Cache hit :数据库Cache的命中情况 当然,在实际中我们还会察看多用户测试情况下的内存,CPU,系统资源调用情况。这些指标其实是引申出来性能测试中的一种:竞争测试。什么是竞争测试,软件竞争使用各种资源(数据纪录,内存等),看他与其他相关系统对资源的争夺能力。
我们知道软件架构在实际测试中制约着测试策略和工具的选择。如何选择性能测试策略是我们在实际工作中需要了解的。一般软件可以按照系统架构分成几种类型: c/s client/Server 客户端/服务器架构 基于客户端/服务器的三层架构 基于客户端/服务器的分布式架构 b/s 基于浏览器/Web服务器的三层架构 基于中间件应用服务器的三层架构l 基于Web服务器和中间件的多层架构l 在每种不同的系统架构的实施中,开发人员可能选择不同的实现方式,造成实际情况纷繁复杂。我们不可能对每种技术都详细解说,这里只是介绍一种方法提供给你如何选择测试策略,从而帮助分析软件不同部分的性能指标,进而分析出整体架构的性能指标和性能瓶颈。 由于工程和项目的不同,所选用的度量,评估方法也有不同之处。,不过仍然有一些通用的步骤帮助我们完成一个性能测试项目。步骤如下 1. 制定目标和分析系统 2. 选择测试度量的方法 3. 学习的相关技术和工具 4. 制定评估标准 5. 设计测试用例 6. 运行测试用例 7. 分析测试结果 制定目标和分析系统 每一个性能测试计划中第一步都会制定目标和分析系统构成。只有明确目标和了解系统构成才会澄清测试范围,知道在测试中要掌握什么样的技术。 目标: 1. 确定客户需求和期望 2. 实际业务需求 3. 系统需求 系统组成 系统组成这里包含几方面含义:系统类别,系统构成,系统功能等。了解这些内容的本质其实是帮助我们明确测试的范围,选者适当的测试方法来进行测试。 系统类别:分清系统类别是我们掌握什么样的技术的前提,掌握相应技术做性能测试才可能成功。例如:系统类别是bs结构,需要掌握 http协议,java,html等技术 。或者是cs结构,可能要了解操作系统,winsock,com等。所以甄别系统类别对于我们来说很重要。 系统构成:硬件设置,操作系统设置是性能测试的制约条件,一般性能测试都是利用测试工具模仿大量的实际用户操作,系统在超负荷情形下运作。不同的系统构成性能测试就会得到不同的结果。 系统功能:系统功能指系统提供的不同子系统,办公管理系统中的公文子系统,会议子系统等,系统工能是性能测试中要模拟的环节,了解这些是必要的。 选择测试度量的方法 经过第一步,将会对系统有清醒的认识。接下来我们将把精力放在软件度量上,收集系统相关的数据。 度量的相关方面: * 制定规范 * 制定相关流程, 角色,职责 * 制定改进策略 * 制定结果对比标准 学习的相关技术和工具 性能测试是通过工具,模拟大量用户操作,对系统增加负载。所以需要掌握一定的工具知识才能进行性能测试。大家都知道性能测试工具一般通过winsock,http等协议纪录用户操作。而协议选择是基于软件的系统架构实现(web一般选择http协议,cs选择winsock协议),不同的性能测试工具,脚本语言也不同,比如rational robot中vu脚本用类c语言实现。 开展性能测试需要对各种性能测试工具进行评估,因为每一种性能测试工具都有自身的特点,只有经过工具评估,才能选择符合现有软件架构的性能测试工具。确定测试工具后,需要组织测试人员进行工具的学习,培训相关技术
制定评估标准 任何测试的目的都是确保软件符合预先规定的目标和要求。性能测试也不例外。所以必须制定一套标准。 通常性能测试有四种模型技术可用于评估: *线性投射:用大量的过去的,扩展的或者将来可能发生的数据组成散布图,利用这个图表不断和系统的当前状况对比。 *分析模型:用排队论公式和算法预测响应时间,利用描述工作量的数据和系统本质关联起来 *模仿:模仿实际用户的使用方法测试你的系统 *基准:定义测试和你最初的测试作为标准,利用它和所有后来进行的测试结果进行对比 设计测试用例 设计测试用例是在了解软件业务流程的基础上。设计测试用例的原则是受最小的影响提供最多的测试信息,设计测试用例的目标是一次尽可能的包含多个测试要素。这些测试用例必须是测试工具可以实现的,不同的测试场景将测试不同的功能。因为性能测试不同于平时的测试用例,尽可能把性能测试用例设计的复杂,才有可能发现软件的性能瓶颈。 运行测试用例 通过性能测试工具运行测试用例。同一环境下作的性能测试得到的测试结果是不准确的,所以在运行这些测试用例的时候,需要用不同的测试环境,不同的机器配置上运行。 分析测试结果 运行测试用例后,收集相关信息,进行数据统计分析,找到性能瓶颈。通过排除误差和其他因素,让测试结果体现接近真实情况。不同的体系结构分析测试结果的方法也不同,bs结构我们会分析网络带宽,流量对用户操作响应的影响,而cs结构我们可能更关心会系统整体配置对用户操作的影响。
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏

该用户从未签到

2#
发表于 2004-11-26 15:29:18 | 只看该作者

天哪,能不能排一下版啊,头晕

回复 支持 反对

使用道具 举报

该用户从未签到

3#
发表于 2004-11-30 08:57:14 | 只看该作者
好多字啊,好像天书!
回复 支持 反对

使用道具 举报

该用户从未签到

4#
 楼主| 发表于 2004-12-8 09:48:27 | 只看该作者
这篇文章在我的bolg上有,写了很早了,大家有兴趣看看我的blog
回复 支持 反对

使用道具 举报

该用户从未签到

5#
发表于 2004-12-10 16:29:21 | 只看该作者
写的不错,经验之谈
回复 支持 反对

使用道具 举报

该用户从未签到

6#
发表于 2004-12-29 10:40:34 | 只看该作者
看完了,的确不错,就是不知道在实际中怎么应用!
回复 支持 反对

使用道具 举报

该用户从未签到

7#
发表于 2005-1-10 11:08:37 | 只看该作者
虽然看着很费劲,但是我还是看了,直到流眼泪……(太费眼睛啦)
回复 支持 反对

使用道具 举报

该用户从未签到

8#
发表于 2005-1-20 17:04:41 | 只看该作者

重新排版

个人觉得这是一篇好文. 涵概了有关测试的大部分问题. 值得一看.
所以重新排版, 介绍给有心人.
版主要原谅我, 没有得到你的同意, 擅自主张呀. 不过没有任何文字改动, 只是重排而已.

软件性能测试(原创)-- [重新排版]—20/01/2005
各种软件在系统实施过程中,需要满足客户的一些特殊要求。如果软件系统没有经过测试和优化,软件系统将无法满足用户的需求,还会给软件在实际应用中带来很大的风险。一些公司缺乏必要的测试手段和工具知识导致测试不彻底,其中性能测试是整个软件测试中一个重要方面,如何做好性能测试,怎么做性能测试是在测试人员之间和论坛上经常讨论的一个话题。
目的: 为什么进行性能测试呢? 目的是验证软件系统是否能够达到用户提出的性能指标,同时发现软件系统中存在的性能瓶颈,优化软件,最后起到优化系统的目的。 包括以下几个方面
一. 评估系统的能力,测试中得到的负荷和响应时间数据可以被用于验证所计划的模型的能力,并帮助作出决策。
二. 识别体系中的弱点:受控的负荷可以被增加到一个极端的水平,并突破它,从而修复体系的瓶颈或薄弱的地方。
三. 系统调优:重复运行测试,验证调整系统的活动得到了预期的结果,从而改进性能。检测软件中的问题:长时间的测试执行可导致程序发生由于内存泄露引起的失败,揭示程序中的隐含的问题或冲突。
四. 验证稳定性(resilience)可靠性(reliability):在一个生产负荷下执行测试一定的时间是评估系统稳定性和可靠性是否满足要求的唯一方法。
定义: 性能测试类型包括负载测试,强度测试,容量测试等负载测试:
负载测试是一种性能测试指数据在超负荷环境中运行,程序是否能够承担。
强度测试: 强度测试是一种性能测试,他在系统资源特别低的情况下软件系统运行情况。
容量测试:确定系统可处理同时在线的最大用户数 观察指标:
性能测试主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。负载测试和压力测试都属于性能测试,两者可以结合进行。通过负载测试,确定在各种工作负载下系统的性能,目标是测试当负载逐渐增加时,系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接收的性能点,来获得系统能提供的最大服务级别的测试。
在实际中作中我们经常会对两种类型软件进行测试:bs和cs,这两方面的性能指标一般需要哪些内容呢?
Bs结构程序一般会关注的通用指标如下(简): Web服务器指标指标:
* Avg Rps: 平均每秒钟响应次数=总请求时间 / 秒数;
* Avg time to last byte per terstion (mstes):平均每秒业务角本的迭代次数 ,有人会把这两者混淆;
* Successful Rounds:成功的请求;
* Failed Rounds :失败的请求;
* Successful Hits :成功的点击次数;
* Failed Hits :失败的点击次数;
* Hits Per Second :每秒点击次数;
* Successful Hits Per Second :每秒成功的点击次数;
* Failed Hits Per Second :每秒失败的点击次数;
* Attempted Connections :尝试链接数;
CS结构程序,由于一般软件后台通常为数据库,所以我们更注重数据库的测试指标:
* User 0 Connections :用户连接数,也就是数据库的连接数量;
* Number of deadlocks:数据库死锁;
* Butter Cache hit :数据库Cache的命中情况
当然,在实际中我们还会察看多用户测试情况下的内存,CPU,系统资源调用情况。这些指标其实是引申出来性能测试中的一种:竞争测试。
什么是竞争测试,软件竞争使用各种资源(数据纪录,内存等),看他与其他相关系统对资源的争夺能力。我们知道软件架构在实际测试中制约着测试策略和工具的选择。如何选择性能测试策略是我们在实际工作中需要了解的。一般软件可以按照系统架构分成几种类型:
c/s client/Server 客户端/服务器架构
•        基于客户端/服务器的三层架构
•        基于客户端/服务器的分布式架构
b/s 基于浏览器/Web服务器的三层架构
•        基于中间件应用服务器的三层架构
•        基于Web服务器和中间件的多层架构
在每种不同的系统架构的实施中,开发人员可能选择不同的实现方式,造成实际情况纷繁复杂。我们不可能对每种技术都详细解说,这里只是介绍一种方法提供给你如何选择测试策略,从而帮助分析软件不同部分的性能指标,进而分析出整体架构的性能指标和性能瓶颈。 由于工程和项目的不同,所选用的度量,评估方法也有不同之处。,不过仍然有一些通用的步骤帮助我们完成一个性能测试项目。步骤如下.
1. 制定目标和分析系统
2. 选择测试度量的方法
3. 学习的相关技术和工具
4. 制定评估标准
5. 设计测试用例
6. 运行测试用例
7. 分析测试结果
制定目标和分析系统
每一个性能测试计划中第一步都会制定目标和分析系统构成。只有明确目标和了解系统构成才会澄清测试范围,知道在测试中要掌握什么样的技术。
目标:
1. 确定客户需求和期望
2. 实际业务需求
3. 系统需求
系统组成
系统组成这里包含几方面含义:系统类别,系统构成,系统功能等。了解这些内容的本质其实是帮助我们明确测试的范围,选者适当的测试方法来进行测试。
系统类别:分清系统类别是我们掌握什么样的技术的前提,掌握相应技术做性能测试才可能成功。例如:系统类别是bs结构,需要掌握 http协议,java,html等技术 。或者是cs结构,可能要了解操作系统,winsock,com等。所以甄别系统类别对于我们来说很重要。
系统构成:硬件设置,操作系统设置是性能测试的制约条件,一般性能测试都是利用测试工具模仿大量的实际用户操作,系统在超负荷情形下运作。不同的系统构成性能测试就会得到不同的结果。
系统功能:系统功能指系统提供的不同子系统,办公管理系统中的公文子系统,会议子系统等,系统工能是性能测试中要模拟的环节,了解这些是必要的。 选择测试度量的方法 经过第一步,将会对系统有清醒的认识。接下来我们将把精力放在软件度量上,收集系统相关的数据。
度量的相关方面:
* 制定规范
* 制定相关流程, 角色,职责
* 制定改进策略
* 制定结果对比标准
学习的相关技术和工具
性能测试是通过工具,模拟大量用户操作,对系统增加负载。所以需要掌握一定的工具知识才能进行性能测试。大家都知道性能测试工具一般通过winsock,http等协议纪录用户操作。而协议选择是基于软件的系统架构实现(web一般选择http协议,cs选择winsock协议),不同的性能测试工具,脚本语言也不同,比如rational robot中vu脚本用类c语言实现。
开展性能测试需要对各种性能测试工具进行评估,因为每一种性能测试工具都有自身的特点,只有经过工具评估,才能选择符合现有软件架构的性能测试工具。确定测试工具后,需要组织测试人员进行工具的学习,培训相关技术制定评估标准 任何测试的目的都是确保软件符合预先规定的目标和要求。性能测试也不例外。所以必须制定一套标准。
通常性能测试有四种模型技术可用于评估:
*线性投射:用大量的过去的,扩展的或者将来可能发生的数据组成散布图,利用这个图表不断和系统的当前状况对比。
*分析模型:用排队论公式和算法预测响应时间,利用描述工作量的数据和系统本质关联起来
*模仿:模仿实际用户的使用方法测试你的系统
*基准:定义测试和你最初的测试作为标准,利用它和所有后来进行的测试结果进行对比
设计测试用例
设计测试用例是在了解软件业务流程的基础上。设计测试用例的原则是受最小的影响提供最多的测试信息,设计测试用例的目标是一次尽可能的包含多个测试要素。这些测试用例必须是测试工具可以实现的,不同的测试场景将测试不同的功能。因为性能测试不同于平时的测试用例,尽可能把性能测试用例设计的复杂,才有可能发现软件的性能瓶颈。
运行测试用例
通过性能测试工具运行测试用例。同一环境下作的性能测试得到的测试结果是不准确的,所以在运行这些测试用例的时候,需要用不同的测试环境,不同的机器配置上运行。 分析测试结果 运行测试用例后,收集相关信息,进行数据统计分析,找到性能瓶颈。通过排除误差和其他因素,让测试结果体现接近真实情况。不同的体系结构分析测试结果的方法也不同,bs结构我们会分析网络带宽,流量对用户操作响应的影响,而cs结构我们可能更关心会系统整体配置对用户操作的影响.
回复 支持 反对

使用道具 举报

该用户从未签到

9#
发表于 2005-1-21 11:52:39 | 只看该作者
现在看的舒服多了。是篇好文章,OK
回复 支持 反对

使用道具 举报

该用户从未签到

10#
发表于 2005-1-21 12:41:38 | 只看该作者
全是小蚂蚁@@@
回复 支持 反对

使用道具 举报

该用户从未签到

11#
发表于 2005-3-14 16:14:51 | 只看该作者

写得不错!

回复 支持 反对

使用道具 举报

该用户从未签到

12#
发表于 2005-4-21 11:00:13 | 只看该作者
不错,对我很有用
回复 支持 反对

使用道具 举报

该用户从未签到

13#
发表于 2005-4-24 14:50:50 | 只看该作者
好文章啊,收藏……
回复 支持 反对

使用道具 举报

该用户从未签到

14#
发表于 2005-4-29 16:27:54 | 只看该作者
谢斑竹也谢TonyWan
回复 支持 反对

使用道具 举报

该用户从未签到

15#
发表于 2005-6-6 18:25:06 | 只看该作者
不错!!!!!!
回复 支持 反对

使用道具 举报

该用户从未签到

16#
发表于 2005-6-14 11:17:47 | 只看该作者

好贴

谢谢,学习中。。。
回复 支持 反对

使用道具 举报

该用户从未签到

17#
发表于 2005-6-28 13:48:58 | 只看该作者
早说有排好版的嘛,搞得我看完前面的才知道有后面的。
回复 支持 反对

使用道具 举报

该用户从未签到

18#
发表于 2005-7-14 09:43:03 | 只看该作者
好文章,收藏
谢谢.......
回复 支持 反对

使用道具 举报

该用户从未签到

19#
发表于 2005-7-14 17:55:47 | 只看该作者
楼主的文章确实精彩!不过我感觉对这些度量值进行一些归纳后,就不会让人感到那么复杂,那么难以下手了吧。不过对于J2EE系统的性能测试,我觉得只要关注响应时间,吞吐量,资源利用率和服务请求就行了。
其中,响应时间指的是完成一个特定请求需要花费多少时间。
吞吐量指的是系统在一段时间内能执行的交易量。
更详细的大家看http://www.innovatedigital.com/htm_speek/speak17_index.shtml
回复 支持 反对

使用道具 举报

该用户从未签到

20#
发表于 2005-7-15 08:54:01 | 只看该作者
谢谢版主也谢谢谢TonyWan
不过性能测试我还是不大懂,还得多多学习呢。
回复 支持 反对

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-5-6 06:36 , Processed in 0.080358 second(s), 27 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表