关于门户网站的测试

ireneyao

测试新手，正在实习中，接手的第一个项目是门户型网站的性能测试，网址是www.job001.cn，大家有兴趣可以看一下。遇到很多问题，有
和LR相关的，也有和测试理论相关的，不知道属于哪一类帖子，还是放在这里了，斑竹通融一下，不要删哈。言归正传,
问题：
1.没有文档，无法确定性能标准，和开发人员交流过，他们也不知道，据说当时测过一次性能，是用apache自带的工具，给apache服务器加
了5W个并发用户（据说是并发），全部顺利通过。
2.功能点过多，不知道应该从哪里着手指定测试场景。
3.根据AWstats日志分析，网站日访问量平均7W，最多的时候有13W。粗算了一下，查询功能至少要3000人并发。如果只是登录网站首页，也
要1.4W人并发，LR可以做到吗？如果做不到我该怎么办？我看过51testing上一篇关于门户网站的讨论，可是还是摸不着头:(
4.LR对机器的配置有什么要求？我的机子是256内存，CPU cerlon2.66HGz，这种配置可以跑多少个虚拟用户？
5.对于这种已经开始用的网站，性能测试还重要吗？如果不重要那我在这里做什么呢？

ireneyao

还有，现在对性能测试有些迷惑了，象这种网站的开发，已经开始使用了，而且运行这么久也没有出什么问题，我开始怀疑我的作用sdlkfj7 。请各位帮忙提点一下，现在我到底应该做什么？感觉很无助~~~和他们说测试的东西他们都不懂，加上我还是实习生，又还没毕业，我的话没有分量，而且说不好还得罪一票人。很郁闷~~比如，我是否应该要求他们给我换机子，现在的配置无法完成那么大数据量的并发用户。我是否应该让他们把数据库给我，因为每个参数要调用的数据都上百个，不可能让我手动输入吧~~可是他们好象都很忙的 样子sdlkfj7 ，总觉得不敢提要求。工作已经进行不下去了，这几天都在翻书，看论坛，可是也找不到合适的办法，所以在这里发一贴，希望大家给我出出主意。

[ 本帖最后由 ireneyao 于 2007-4-17 09:45 编辑 ]

大漠飞鹰

原帖由 ireneyao 于 2007-4-16 21:45 发表
测试新手，正在实习中，接手的第一个项目是门户型网站的性能测试，网址是www.job001.cn，大家有兴趣可以看一下。遇到很多问题，有
和LR相关的，也有和测试理论相关的，不知道属于哪一类帖子，还是放在这里了， ...

1、目前的国内软件开发需求都不明确，性能指标也是。我们只能做粗略的估计。一般都以响应时间做判断，可用258 原则，响应时间在2秒以内的较好，2-5秒的还可以，5-8秒的较差，8秒以上的就是无法忍受的。
2、选取几个常见的、用户使用量最频繁的场景。
3、LR最多只能做1000人的，如果要做更多的，可以同时运行多个LR控制台一起压。同时，感觉你的并发数算得有问题，应该没有那么高的。
4、1M内存一般对一个user，256内存，建议不要操作300。
5、先用，然后再改，或者出了问题再测试，这在目前的软件行业是很正常的。

呵呵，我们搞测试的，能力有限，只能提高问题的出处，或者建议，没有权利要求达到或者实现某些目标。

大漠飞鹰

原帖由 ireneyao 于 2007-4-17 08:49 发表
还有，现在对性能测试有些迷惑了，象这种网站的开发，已经开始使用了，而且运行这么久也没有出什么问题，我开始怀疑我的作用sdlkfj7 。请各位帮忙提点一下，现在我到底应该做什么？感觉很无助~~~和他们说测试的 ...

我们搞测试的人，和项目的成败某中意义上来说是相反的。
项目如果很成功，我们测试很容易被忽略，感觉上测试就会有些失败。
项目一旦出问题，测试便会被看重一些，从感觉上又会好一些。

但是从体而言，搞测试，事情越少越好，呵呵。但是关键时候，你要能派上用场。

ireneyao

我自己在网站上操作了一下，觉得使用最多的是查询，但是添加个人/企业信息传送的数据量很大，对服务器也会形成较大的压力。
日志分析的数据是这样的，日平均访问量4.7W多，80%的用户在30s内离开。剩余9400人，按80~20原则，并发应该有1880人。修改简历的应该更少，这里先不讨论。但是这个月的访问量最多的时候达到13.6W人，仍然有80%的人在30s内离开，按这个数据算的话，并发应该有5440人。但是，那13.6W人登陆了这个网站的首页，应该也会对服务器照成压力的。所以如果测并发登陆网站首页的人，就应该有27200人，我这样算是不是有问题？
因为AWstats的分析只精确到天，没有精确到小时，如果说刚才的分析有误差，我觉得错在我应该按每小时的访问人数来算并发，而不是每天的对吗？

ireneyao

我应该测出系统性能的极限还是还是应该测系统在正常访问下的表现呢？如果测极限，那就应该按最多的情况来考虑并发对吗？

大漠飞鹰

原帖由 ireneyao 于 2007-4-17 09:06 发表
我自己在网站上操作了一下，觉得使用最多的是查询，但是添加个人/企业信息传送的数据量很大，对服务器也会形成较大的压力。
日志分析的数据是这样的，日平均访问量4.7W多，80%的用户在30s内离开。剩余9400人， ...

没错，按天算的话，估算的误差区间大了些。

并发数，不知道你们系统中是否有在线用户数的统计，如果有，这个也可以作为估算的依据。

大漠飞鹰

原帖由 ireneyao 于 2007-4-17 09:10 发表
我应该测出系统性能的极限还是还是应该测系统在正常访问下的表现呢？如果测极限，那就应该按最多的情况来考虑并发对吗？

应该测一下极限。
也就是不段加压，看看user多少的时候，系统出现异常。

rickyzhu

两个思路：
1.先测试根据现有估计用户访问情况下系统的表现，比如典型的查询时间，更改简历的时间等。
2.根据这个指标，你需要肯定很多台load generator，所以可以提要求，给你的机器增加配置。

大漠飞鹰兄弟：
LR最多只能做1000人的，如果要做更多的？

这句话我不太理解，LR最多只能做1000人，这个应该取决于load generator或者controller的配置。

ireneyao

没有在线用户数的统计，AWstats可以设置吗？我问了以前负责配置的同事，他们说不可以。所以我现在拿到的数据都不是很精确sdlkfj9

ireneyao

lr测多少并发用户和controller有什么关系呢？可不可以指点一下。

ppent

由于你没有详细的数据，所以我做了一些假设。
系统运行情况调查结果：系统日平均访问量是4.7万，每天24小时中有两个访问的高峰期，分别在11－13点（高峰用户数达8千）、19－21点（高峰用户数达6千），其余时间用户访问量乘正态分布。系统最高日平均访问量达13.6万，分别在。。。。（分析同上）。
系统压力较大的几个应用：首页、修改简历、。。。
系统性能测试目标：
验证在正常日平均访问量的负载下，系统的xx操作的响应时间在5秒内；同时CPU资源使用率不超过75％；
验证在系统最高日平均访问量的高峰负载下，系统的xx操作的响应时间在8秒内，其它条件。。。；
验证系统在xx负载情况下持续运行24小时，系统响应时间没有明显变化（<1秒），运行完成后xx时间内系统资源情况下降到xx正常水平，没有内存泄漏等问题；

测试场景：从单一应用、多个应用组合进行考虑

测试范畴：属于能力验证、能力规划（参考段念一书）

测试方法：性能测试、负载测试、可靠性测试

大漠飞鹰

原帖由 rickyzhu 于 2007-4-17 09:40 发表
两个思路：
1.先测试根据现有估计用户访问情况下系统的表现，比如典型的查询时间，更改简历的时间等。
2.根据这个指标，你需要肯定很多台load generator，所以可以提要求，给你的机器增加配置。

大漠飞鹰 ...

虚拟用户数其实和license相关的。
目前单个controller最大的vuser数是1000，如果超过此数字，可以通过开多个controller实现。

ppent

sdlkfj4 还有这种限制啊。
是否是每个LoadGenerator，而不是每个Controller？
那如果我的机器配置比较好，是否可以通过IPSpoofer连接多个LoadGenerator来突破1000个的限制？

rickyzhu

我好像没有听说还有这种限制，今天下午就跟Mercury的人确认一下。回头答复。

rickyzhu

LR的并发用户是通过在Controller里面设置的。理论上来说，一个Controller并没有多少用户的限制。
这取决你Controller机器的配置，另外，一个Controller可以控制多台Load Generator进行压力测试。所以最终模拟多少用户是LoadGenerator决定的。

大漠飞鹰

我认为LR应该是通过controller控制vuser的。
看图

[ 本帖最后由 大漠飞鹰 于 2007-4-17 15:32 编辑 ]

大漠飞鹰

原帖由 rickyzhu 于 2007-4-17 13:41 发表
LR的并发用户是通过在Controller里面设置的。理论上来说，一个Controller并没有多少用户的限制。
这取决你Controller机器的配置，另外，一个Controller可以控制多台Load Generator进行压力测试。所以最终模拟多 ...

我觉得有点问题。
如果是通过Load Generator控制的，那么之需要一个100左右的license就基本能满足适用了，因为一个controller可以控制多台Load Generator.

ireneyao

请问一下，你们的机子都是什么配置呢？

ireneyao

我数学不好，请问8千和6千是怎么算出来的，测试是不是数学也要好？我看好多地方都用到了数学的概念，比如泊松分布等....
问大家一些和LR不相关的问题，做好性能测试要具备什么能力？昨天老大说希望我能把错误定到代码级，LR好象做不到对吗？还有对操作系统的了解，要到什么程度呢？除了LR，我还需要学习哪些自动化测试工具？昨天翻了段念的书，发现有些情况还需要自己写测试工具，我觉得做性能测试就象十项全能，什么都要会，还都要好。我有点抓不到方向了，感觉要学的好多，不知道从哪里下手。