51Testing软件测试论坛

标题: 正确进行LoadRunner性能测试分析的起点——判断数据是否有效 [打印本页]

作者: peaksoftchen 时间: 2007-9-12 18:28
标题: 正确进行LoadRunner性能测试分析的起点——判断数据是否有效
在Controller中执行的测试场景结束后，首先要做的是判断采集到的结果数据是否真实有效。多数的性能测试场景都需要迭代地进行测试，因此，很多测试结果本身就不能反应反映问题，而深入分析这样的结果纯属浪费时间。在本书中，主要探讨如何针对有效的测试结果数据如何进行分析的过程。
      判断测试结果是否有效，通常按下面的步骤进行：
   第一步：在整个测试场景的执行过程中，测试环境是否正常。如果在测试过程中发生出现过异常，那么这样得出的结果往往不准确，不需要无须进行分析。
      例如，在测试执行过程中，测试机的CPU利用率经常达到100％%、测试环境的网络不稳定、一些系统参数配置不正确等等，这样得出的测试结果没有必要直行分析，应该重新设置测试场景或者调整测试环境，再次执行测试。
      第二步：测试场景的设置是否正确、合理。测试场景的设置是否正确对测试结果有很大的影响。因此，当测试出现异常时，需要分析是不是由于场景设置不正确引起。
      一些新手在使用Controller执行测试时，可能会同时在一台PC上加载全部虚拟用户——例如同时加载1000个虚拟用户，如果客户端来不及处理，就会有很多虚拟用户因不能初始化而失败——而。失败的根本原因不是被测试的应用服务器不能处理，而是压力根本没有传输过去。正确的做法是增加更多的Generator或者逐步加压，进行不断的尝试来使测试场景运行起来。
      第三步：测试结果是否直接暴露出系统的一些问题。对于测试场景的整个执行过程而言，没有必要对压力下系统运行正常的结果进行分析，因为这样的结果不能反映出系统的性能问题，应该进一步调整场景（比如增大压力）进行测试。而对于在测试过程中使系统表现不正常的测试场景生成的结果则要进行深入分析。实际上，分析能够反映性能问题的测试结果才是性能分析阶段的主要工作。
      测试结果直接暴露系统存在性能问题的情形很多，例如在测试过程中一些用户事务响应时间过大长、系统支持的最大并发用户数过低、系统的应用服务器CPU利用率过高或者内存不足等。对于这类测试结果，性能测试人员需就要开始借助Analysis对其进行深入分析，以发现一些潜在的性能问题。
      PS：关于Socket、C/S相关脚本开发可以参考我的最新作品《LoadRunner虚拟用户开发指南》，详见：http://bbs.51testing.com/thread-144156-1-1.html
   《LoadRunner虚拟用户开发指南》源代码地址详见：http://bbs.51testing.com/redirec ... o=lastpost#lastpost

[ 本帖最后由 peaksoftchen 于 2009-5-18 13:45 编辑 ]

作者: peaksoftchen 时间: 2007-9-12 18:38
CSDN正在制作一些章节的电子书籍，如果制作完成立刻公布信息。

作者: b47617 时间: 2007-9-12 18:41
欢迎,欢迎我们等着呢.

作者: 丁笑寒 时间: 2007-9-12 19:36
谢谢.

作者: ycxlove11 时间: 2007-9-13 09:01
不错，很详细，受用了

作者: ppent 时间: 2007-9-13 09:29
支持。

作者: peaksoftchen 时间: 2007-9-13 11:03
标题: 即将上市的新书封面
前两天电子刚刚做好，呵呵。

作者: peaksoftchen 时间: 2007-9-13 16:17
sdlkfj3

作者: peaksoftchen 时间: 2007-9-14 15:21
标题: 忘记放上图书目录了
http://blog.csdn.net/chenshaoying/archive/2007/08/28/1762061.aspx

作者: huipingzhai 时间: 2007-9-14 16:03
标题: 回复 #7 peaksoftchen 的帖子
关河的书：《软件性能测试过程详解与案例剖析》
我想知道你的书和关河这本数相比优点在哪里？

作者: huipingzhai 时间: 2007-9-14 16:07
标题: 回复 #9 peaksoftchen 的帖子
看目录不错，到时候支持一下。

作者: peaksoftchen 时间: 2007-9-14 18:04

原帖由 huipingzhai 于 2007-9-14 16:03 发表
关河的书：《软件性能测试过程详解与案例剖析》
我想知道你的书和关河这本数相比优点在哪里？

不是一类书，无法比。
我的《LoadRunner性能测试实战》是专门写lr的。
《Web性能测试实战》是写我的性能测试设计模型以及应用的，是专门写性能测试的：包含性能测试基础理论、性能测试模型、性能测试设计与实施、性能测试分析、性能测试三个案例五章。几乎没有怎么写lr。

作者: 423799223 时间: 2007-9-15 08:16
陈同志到底看了关河的书么？
关河的书没有写LR么？
关河的书后面的附录你看了么，建议你看看后再去发言

作者: peaksoftchen 时间: 2007-9-17 11:11

原帖由 423799223 于 2007-9-15 08:16 发表
陈同志到底看了关河的书么？
关河的书没有写LR么？
关河的书后面的附录你看了么，建议你看看后再去发言

   我当然看了他的书了，呵呵。

   我前面的意思是《LoadRunner性能测试实战》专门写lr，而他的书以性能测试方面为主，所以这本书不能与他的书进行比较，因为不是同类的书；
   而《Web性能测试实战》专门写性能测试方面，而他的书又写了很多lr，因此我的这本仍然不应该与他的进行比较，因为《Web性能测试实战》几乎没有多少lr。

      如果我这两本做成一本书，内容方面比较相近，倒是可以进行比较。

      不过Zee对《Web性能测试实战》和关河的书分别写过几千字的评价呢，注意是分别写的，仍然没有进行比较。

[ 本帖最后由 peaksoftchen 于 2007-9-17 14:11 编辑 ]

作者: zhicl 时间: 2007-9-17 11:45
先看了目录,不错,收藏了,楼主,电子书做好了快点传上来啊

作者: richard_yazi 时间: 2007-9-17 12:23
很好的关注点！

作者: ebuluo 时间: 2007-9-17 12:56
方法论的话我认为sccot barber的东西很不错，国内所谓的理论实在是有点肤浅了。什么流程模板一堆没用的东西，在实战中很难站住脚的。看点实际案例还讲究。

作者: peaksoftchen 时间: 2007-9-17 13:40

原帖由 ebuluo 于 2007-9-17 12:56 发表
方法论的话我认为sccot barber的东西很不错，国内所谓的理论实在是有点肤浅了。什么流程模板一堆没用的东西，在实战中很难站住脚的。看点实际案例还讲究。

说的好，很多书都是整理人家国外的，或者网站上收集的。

不过，咱们中国的Tester要自己过日子，总得有点创新吧！
理论也好，实践也好，总不能跟着外国人的屁股后面跑吧。
而且更不应该凡是外国人，我们就得以他们作为标准吧！
CPU基本造不出来、操作系统基本开发不出来，但是诸如测试这些方面，总得搞点深入的吧。

作者: tls1015 时间: 2007-9-17 16:41
向LZ学习了！！！

作者: wangwanhua 时间: 2007-9-20 17:31
这个书很期待

作者: glyw168 时间: 2007-9-20 18:03
想前辈学习！

作者: hehemeimei 时间: 2007-9-20 18:24
期待ing..

作者: peaksoftchen 时间: 2007-9-21 17:35
大家一起努力。

作者: purezzj 时间: 2007-9-22 10:31
分析的很不错，赞一个。

作者: mutoucm 时间: 2007-9-22 16:59
期待ing！~~~

作者: zhangsy 时间: 2007-9-22 21:37
好书，就不知网上有卖没有？

作者: 花漂零 时间: 2007-9-23 11:50

原帖由 peaksoftchen 于 2007-9-13 11:03 发表
前两天电子刚刚做好，呵呵。

我昨天在网上搜索到你的这本书了,看目录正是我想要的,可是要38块钱,能不能免费发给我呀,我急用.
我的邮箱是gaoxn@hotmail.com

作者: nataliedu 时间: 2007-9-24 12:48
ding

作者: peaksoftchen 时间: 2007-9-24 13:44

原帖由 zhangsy 于 2007-9-22 21:37 发表
好书，就不知网上有卖没有？

估计十一后网上书店可以买吧。

作者: alinda 时间: 2007-9-24 16:24
关注+期待～

作者: huipingzhai 时间: 2007-9-26 10:07
标题: 回复 18# 的帖子
我在11楼问的是关河的书：《软件性能测试过程详解与案例剖析》的这本书和你写的书lr书做比较有什么优点？我感觉你说的不是我要问的。

作者: peaksoftchen 时间: 2007-9-26 11:30

原帖由 huipingzhai 于 2007-9-26 10:07 发表
我在11楼问的是关河的书：《软件性能测试过程详解与案例剖析》的这本书和你写的书lr书做比较有什么优点？我感觉你说的不是我要问的。

你的问题好比在问我：

某本<<***Visual C++***>>和某本《数据结构》相比有什么优点！之所以这样问大概是是数据结构里面也提到了C++。
或者问我某本《软件工程建模》和某本《***Rational Rose》相比，后者有什么优点。。。
我觉得你已经把性能测试=LoadRunner 了。

如果硬要说优点：那就是我写了将近400页的lr内容，讲了各个方面，初级的，高级的。lr和vc的集合、java的结合、.NET、……，主流的几乎都讲了，可是你觉得这样说有意义吗。有很多测试书籍都写了点lr，一章左右，怎么和专门写lr的书相比？
个人认为《web性能测试实战》和《软件性能测试过程详解与案例剖析》才是一类书。这两本都涉及了一些lr，但是都不是专门写lr的。

[ 本帖最后由 peaksoftchen 于 2007-9-26 11:43 编辑 ]

作者: peaksoftchen 时间: 2007-9-27 19:44
http://book.csdn.net/bookfiles/509/index.html
网上提供一些样章了，其中第五章由于内容太多，只是提供了第一节的内容。

作者: tkgg0122 时间: 2007-9-28 10:20
标题: 对于初学者来说还是一本不错的书~~
中高级工程师就没有什么东东可吸收的了

作者: peaksoftchen 时间: 2007-9-28 10:40

原帖由 tkgg0122 于 2007-9-28 10:20 发表
中高级工程师就没有什么东东可吸收的了

兄弟属于什么级别？如何界定中级、高级？

高级工程师必须精通lr?
比如微软的高级测试工程师，也许根本没有用过lr，很多高级测试工程师就是在开发测试程序……

岂能一言以蔽之。

本书的目标是1、快速入门；2、掌握部分高级应用。 3、通过学习具备了自己探索、研究的能力，进而自己搞定自己的难题。

作者: peaksoftchen 时间: 2007-9-30 14:07
祝各位国庆节快乐！

作者: shk2016 时间: 2007-10-2 14:44
顶顶顶

作者: ly_xixihaha 时间: 2007-10-7 13:16
看了目录，觉的第四部分的实战的例子少了点
书名是LR的实战，而实战的例子才一个，少了点，LZ怎么再增加其他系统的例子？？、

作者: peaksoftchen 时间: 2007-10-8 10:51

原帖由 ly_xixihaha 于 2007-10-7 13:16 发表
看了目录，觉的第四部分的实战的例子少了点
书名是LR的实战，而实战的例子才一个，少了点，LZ怎么再增加其他系统的例子？？、

其实书里面其他章节都是LR实际应用的小例子以及大例子，比如视频网站的性能测试开发。

本书着眼于LoadRunner的实战，因此才写了一个完整的LR在性能测试项目中的应用例子，以对前面9章内容进行一个总结。

《Web性能测试实战》专门写性能测试，里面写了很多例子。

作者: rting 时间: 2007-10-8 11:37
标题: 请问peaksoftchen？你文中所说的增加更多的Generator是什么意思？
正确的做法是增加更多的Generator或者逐步加压，进行不断的尝试来使测试场景运行起来。

你文中所说的增加更多的Generator是什么意思？

作者: peaksoftchen 时间: 2007-10-8 15:22

原帖由 rting 于 2007-10-8 11:37 发表
正确的做法是增加更多的Generator或者逐步加压，进行不断的尝试来使测试场景运行起来。

你文中所说的增加更多的Generator是什么意思？

产生压力的主机，lr都是多台主机联机产生压力的，一台不能模拟多少用户。

作者: peaksoftchen 时间: 2007-10-12 11:27
海图居然可以买到《LoadRunner性能测试实战》了，相信其它书店、网上书店下周应该很有希望买到。

作者: wjjiao 时间: 2007-10-12 21:48
呵呵不错思路很清晰

作者: wjjiao 时间: 2007-10-12 21:48
期待新书中。。。

作者: 1qazse4 时间: 2007-10-13 09:15
急切关注中，支持楼主！~！

作者: hbxtly 时间: 2007-10-13 11:01
关注楼主的著作

作者: peaksoftchen 时间: 2007-10-15 11:12
http://www.china-pub.com/computers/common/info.asp?id=36196
互动网可以买了。

作者: peaksoftchen 时间: 2009-5-13 19:55

作者: pxm 时间: 2009-5-14 09:47
呵呵，现在正在看：《软件性能测试过程详解与案例剖析》

作者: peaksoftchen 时间: 2009-5-18 13:40

原帖由 pxm 于 2009-5-14 09:47 发表
呵呵，现在正在看：《软件性能测试过程详解与案例剖析》

这本书可是国内测试的经典作品啊。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)