关于性能测试的疑惑

xingcyx

提几点我在性能测试过程中的疑惑之处，希望大家积极讨论和解答。
    1、关于并发用户。关于并发用户数，普遍存在两种理解。一种是认为所谓的“并发”是严格意义上的并发，另外一种则是认为“并发用户”只是指某一个操作同时允许多少个用户来操作。在以往的测试中，我一直是按第一种解释去理解的。但最近我查阅了清华大学出版社出版的《软件评测师教程》一书，书上是这样解释这个概念的：并发是“某些业务操作对特定角色用户来讲存在很大的同时操作的可能性”，并且根据书中给出的实际测试案例来看，我觉得他们更倾向于以上的第二种解释。个人认为这二者是有区别的，而且关系到测试脚本如何录制和执行，有必要把它弄清楚。不知道各位对此有何看法？
   2、关于每秒点击数与请求数。在测试web应用程序时，会有每秒点击数和每秒请求数这两个指标，分别是什么定义，二者是否同一概念？应根据什么来计算？
   3、关于测试案例中各用户组的混合比例。如何确定？感觉总是太虚，没有严格的标准可遵守，只能凭经验去确定，但在实际工作中又不可能有那么丰富的经验可供依据，如何说服客户甚至说服自己是个很大的难题。

tacy_lee

1.并发应该按照第二种解释,第一种说法我一般理解为容量,在线用户数
2.点击数以http请求为判断依据,如果一个复杂页面有很多resource,那么每个resource也是一次点击,这个要搞清楚,请求数也可以理解为事务,看你的定义了
3.这个问题比较难搞,一般自己凑合着弄吧 ;)

wangshenhai

我个人感觉以上说的“并发”，效果应该是一样的，尽管录制脚本不一样，但测试主要是看效果，就是是否能达到这个目的，所以没必要区分这么清楚。

wjpjr

按照以前学的并发应该是同一时刻，服务器能处理的事务吧。在一段时间能处理的用户请求数叫并行吧。但loadrunner里又不是这样，应该是第二种解释。

congwa

第三点更多的应该是反映真实性~~按需求中实际的比例来模拟

linkage

第三点应与用户沟通，得到一些经验数据，不需要非常的精确，大概的数值亦可
给你个例子：

接口并发100个用户
1.A接口，100×30％＝30用户
1.1 A1，30×50％＝15用户
1.2 A2，30×50％＝15用户
2.B接口，100×30％＝30用户
2.1 B1，30×(1/6)＝5用户
2.2 B2，30×(1/6)＝5用户
2.3 B3，30×(1/6)＝5用户
2.4 B4，30×(1/6)＝5用户
2.5 B5，30×(1/6)＝5用户
2.6 B6，30×(1/6)＝5用户
3.C接口，100×40％＝40用户
3.1 C1，40×50％＝20用户
3.2 C2，40×25％＝10用户
3.3 C3，40×25％＝10用户

因为某些限制，只能用英文符号代替，这些都是和用户讨论后定的，用户开始也只是给了个大概的值
只要你做的方案用户看了能认可就行了

wxh8098

个人认为“并发”为第二种解释。

jacyxu

个人认为可以将并发理解为同时的意思，但是就系统相应来说还是有先后次序的。但是我对每秒点击数还是不太理解，请求数应该是指客户端向服务器发送请求的个数吧。

fennek

推荐楼主一片文章,上面有这些问题的解答.
http://www-128.ibm.com/developerworks/rational/library/4228.html
User experience, not metrics

rickyqiu

about the 3rd questin, http://www.perftestplus.com/articles/uenm3.pdf

rickyqiu

关于第一个问题，两个是有差别，但是我觉得两个都是有意义的，看你要测试的是哪个方面，第一种是看系统的在线用户，如tacy所说，他们都连上了，但是可能在做不同的操作，第二种可能是针对某个具体的操作，比如查询某一个列表的动作，这个可以支持多少并发。

fish_yy

同意楼上的说法

jijieyu

我认为一个单核的cpu当前处理的事情不会大于1 但是laodrunner的集合点不就是等机器把所有线程都创建完毕之后才发吗,所以我认为还是可能有并发的，但是由于网络问题,实际上从网口发出的还是有时间差的,但是很小了!

xingcyx

时间过得好快，距离我最初发这个贴子已经过了一年多了。。。
经过这一年多的实践经验，我对自己提的这些问题重新看了一下，有了新的理解。
1、并发用户数应该是第二种解释，指的是在混合交易场景中，系统能够支持的同时在线的操作用户数。前段时间的一个项目中，我曾经与MI公司的一位LR专家共事了一段时间，发现他们也是这样来理解的。
2、点击数和请求数的概念不是很难理解，网上的讨论也很多，在此就不重复了。
3、混合交易场景的设置原则无非两个，一是根据历史经验数据来设置，二是根据系统实际操作的场景来模拟。


谢谢以上各位同仁的讨论，欢迎继续交流！

liangjz

并发用户本身的概念本身就有2 种理解。 平常在实践中，我们公司更倾向于利用 业务吞吐率取代， 当然前提是连接数不成为瓶颈

tacy_lee

业务吞吐率，响应时间，并发用户（在线用户和并发请求用户）

这基本可以评估系统的性能