正确进行LoadRunner性能测试分析的起点——判断数据是否有效

peaksoftchen 发表于 2007-9-12 18:28:50

在Controller中执行的测试场景结束后，首先要做的是判断采集到的结果数据是否真实有效。多数的性能测试场景都需要迭代地进行测试，因此，很多测试结果本身就不能反应反映问题，而深入分析这样的结果纯属浪费时间。在本书中，主要探讨如何针对有效的测试结果数据如何进行分析的过程。
   判断测试结果是否有效，通常按下面的步骤进行：
   第一步：在整个测试场景的执行过程中，测试环境是否正常。如果在测试过程中发生出现过异常，那么这样得出的结果往往不准确，不需要无须进行分析。
      例如，在测试执行过程中，测试机的CPU利用率经常达到100％%、测试环境的网络不稳定、一些系统参数配置不正确等等，这样得出的测试结果没有必要直行分析，应该重新设置测试场景或者调整测试环境，再次执行测试。
      第二步：测试场景的设置是否正确、合理。测试场景的设置是否正确对测试结果有很大的影响。因此，当测试出现异常时，需要分析是不是由于场景设置不正确引起。
   一些新手在使用Controller执行测试时，可能会同时在一台PC上加载全部虚拟用户——例如同时加载1000个虚拟用户，如果客户端来不及处理，就会有很多虚拟用户因不能初始化而失败——而。失败的根本原因不是被测试的应用服务器不能处理，而是压力根本没有传输过去。正确的做法是增加更多的Generator或者逐步加压，进行不断的尝试来使测试场景运行起来。
   第三步：测试结果是否直接暴露出系统的一些问题。对于测试场景的整个执行过程而言，没有必要对压力下系统运行正常的结果进行分析，因为这样的结果不能反映出系统的性能问题，应该进一步调整场景（比如增大压力）进行测试。而对于在测试过程中使系统表现不正常的测试场景生成的结果则要进行深入分析。实际上，分析能够反映性能问题的测试结果才是性能分析阶段的主要工作。
   测试结果直接暴露系统存在性能问题的情形很多，例如在测试过程中一些用户事务响应时间过大长、系统支持的最大并发用户数过低、系统的应用服务器CPU利用率过高或者内存不足等。对于这类测试结果，性能测试人员需就要开始借助Analysis对其进行深入分析，以发现一些潜在的性能问题。
   PS：关于Socket、C/S相关脚本开发可以参考我的最新作品《LoadRunner虚拟用户开发指南》，详见：http://bbs.51testing.com/thread-144156-1-1.html
《LoadRunner虚拟用户开发指南》源代码地址详见：http://bbs.51testing.com/redirect.php?tid=147818&goto=lastpost#lastpost

[ 本帖最后由 peaksoftchen 于 2009-5-18 13:45 编辑 ]

peaksoftchen 发表于 2007-9-12 18:38:02

CSDN正在制作一些章节的电子书籍，如果制作完成立刻公布信息。

b47617 发表于 2007-9-12 18:41:03

欢迎,欢迎我们等着呢.

丁笑寒 发表于 2007-9-12 19:36:31

谢谢.

ycxlove11 发表于 2007-9-13 09:01:01

不错，很详细，受用了

ppent 发表于 2007-9-13 09:29:02

支持。

peaksoftchen 发表于 2007-9-13 11:03:37

即将上市的新书封面

前两天电子刚刚做好，呵呵。

peaksoftchen 发表于 2007-9-13 16:17:25

sdlkfj3

peaksoftchen 发表于 2007-9-14 15:21:53

忘记放上图书目录了

http://blog.csdn.net/chenshaoying/archive/2007/08/28/1762061.aspx

huipingzhai 发表于 2007-9-14 16:03:12

回复 #7 peaksoftchen 的帖子

关河的书：《软件性能测试过程详解与案例剖析》
我想知道你的书和关河这本数相比优点在哪里？

huipingzhai 发表于 2007-9-14 16:07:58

回复 #9 peaksoftchen 的帖子

看目录不错，到时候支持一下。

peaksoftchen 发表于 2007-9-14 18:04:23

原帖由 huipingzhai 于 2007-9-14 16:03 发表 http://bbs.51testing.com/images/common/back.gif
关河的书：《软件性能测试过程详解与案例剖析》
我想知道你的书和关河这本数相比优点在哪里？

不是一类书，无法比。
我的《LoadRunner性能测试实战》是专门写lr的。
《Web性能测试实战》是写我的性能测试设计模型以及应用的，是专门写性能测试的：包含性能测试基础理论、性能测试模型、性能测试设计与实施、性能测试分析、性能测试三个案例五章。几乎没有怎么写lr。

423799223 发表于 2007-9-15 08:16:16

陈同志到底看了关河的书么？
关河的书没有写LR么？
关河的书后面的附录你看了么，建议你看看后再去发言

peaksoftchen 发表于 2007-9-17 11:11:32

原帖由 423799223 于 2007-9-15 08:16 发表 http://bbs.51testing.com/images/common/back.gif
陈同志到底看了关河的书么？
关河的书没有写LR么？
关河的书后面的附录你看了么，建议你看看后再去发言

   我当然看了他的书了，呵呵。

   我前面的意思是《LoadRunner性能测试实战》专门写lr，而他的书以性能测试方面为主，所以这本书不能与他的书进行比较，因为不是同类的书；
   而《Web性能测试实战》专门写性能测试方面，而他的书又写了很多lr，因此我的这本仍然不应该与他的进行比较，因为《Web性能测试实战》几乎没有多少lr。

   如果我这两本做成一本书，内容方面比较相近，倒是可以进行比较。

      不过Zee对《Web性能测试实战》和关河的书分别写过几千字的评价呢，注意是分别写的，仍然没有进行比较。

[ 本帖最后由 peaksoftchen 于 2007-9-17 14:11 编辑 ]

zhicl 发表于 2007-9-17 11:45:30

先看了目录,不错,收藏了,楼主,电子书做好了快点传上来啊

richard_yazi 发表于 2007-9-17 12:23:06

很好的关注点！

ebuluo 发表于 2007-9-17 12:56:22

方法论的话我认为sccot barber的东西很不错，国内所谓的理论实在是有点肤浅了。什么流程模板一堆没用的东西，在实战中很难站住脚的。看点实际案例还讲究。

peaksoftchen 发表于 2007-9-17 13:40:12

原帖由 ebuluo 于 2007-9-17 12:56 发表 http://bbs.51testing.com/images/common/back.gif
方法论的话我认为sccot barber的东西很不错，国内所谓的理论实在是有点肤浅了。什么流程模板一堆没用的东西，在实战中很难站住脚的。看点实际案例还讲究。

说的好，很多书都是整理人家国外的，或者网站上收集的。

不过，咱们中国的Tester要自己过日子，总得有点创新吧！
理论也好，实践也好，总不能跟着外国人的屁股后面跑吧。
而且更不应该凡是外国人，我们就得以他们作为标准吧！
CPU基本造不出来、操作系统基本开发不出来，但是诸如测试这些方面，总得搞点深入的吧。

tls1015 发表于 2007-9-17 16:41:02

向LZ学习了！！！

wangwanhua 发表于 2007-9-20 17:31:14

这个书很期待

页: [1] 2 3

51Testing软件测试论坛 's Archiver