51Testing软件测试论坛

标题: [最佳实践] 上海世博会安保系统-性能测试报告 [打印本页]

作者: dennyqiang 时间: 2010-5-12 11:00
标题: [最佳实践] 上海世博会安保系统-性能测试报告
论坛中其实有很多好帖被淹没在了很多毫无价值的帖子中，分析原因有二：其一，一些初学者只管问，不去查看先前的帖子，其实很多问题都是重复的；其二，浮躁的情绪，试图快速掌握，如果真能快速掌握，中国的软件行业早就追上美国了，事实上追上了吗？差得可不是一点半点，能快速掌握吗？不能，如果不去掌握工具或方法深层次的原理和思路，我们始终只能在入门处徘徊。

言归正传，本次向大家公开我在3月份对上海世博会安保系统做的性能测试方案及评估报告，目的只为交流性能测试经验之用，希望能对大家在如何开展性能测试和分析测试结果上提供一些实实在在的参考，而不总是停留在理论研究阶段。

注：由于这是真实的报告，未加任何修改，所以特此声明：请勿用于任何商业目的，我们保留追究法律责任的权利。

本性能测试报告主要包含四大部分的内容：
1) 性能测试结果描述
2) 性能测试方案及场景设计
3) 性能测试结果分析
4) 性能测试改善建议

[ 本帖最后由 dennyqiang 于 2010-6-19 00:43 编辑 ]

作者: cap5210 时间: 2010-5-12 11:16
沙发

作者: 47385024 时间: 2010-5-12 12:07
强子没少发好东西顶一下好贴莫沉::xykwd:::

作者: siusinxy 时间: 2010-5-12 12:25
不错不错，描述很全面……

作者: 苏高跃 时间: 2010-5-12 14:24
标题: 回复 1# 的帖子
强哥。。。。。强哥你把世博会的服务器做压力测试，崩溃了别人怎么登录？

作者: dennyqiang 时间: 2010-5-12 14:44
标题: 回复 5# 的帖子
这事儿简单：
1) 使用测试环境进行测试，保证测试环境与生产环境相同的配置
2) 在晚上没有用户使用时进行测试

当然，这次测试的事实是系统还未上线，系统是在4月份才上线的，并且我们主要使用上海接口的测试环境，本地系统使用正式环境。

作者: zxy_doudou 时间: 2010-5-12 14:47
很好学习中谢谢就是实践的东西才是好东西

作者: 默默巫 时间: 2010-5-12 15:09
强哥的帖要顶的。

作者: 苏高跃 时间: 2010-5-12 15:46
标题: 回复 6# 的帖子
哦，原来强哥内部有人啊，

作者: 云层 时间: 2010-5-12 15:55
好帖留名

作者: 93dhz 时间: 2010-5-12 16:13
好东西，谢谢分享！

作者: dennyqiang 时间: 2010-5-12 16:23
标题: 回复 9# 的帖子
此话怎讲？

作者: qiguojie 时间: 2010-5-12 16:55
首页留名。。此贴必火。。。。

作者: 可乐冰 时间: 2010-5-12 17:05

注册N年后的第一帖。。。

作者: kickgod 时间: 2010-5-12 18:33
不支持对不住党!

作者: tiannianyong 时间: 2010-5-12 23:05
好东西，支持！

作者: saiqi5092 时间: 2010-5-13 09:34
谢谢楼主分享！~

作者: QQHao 时间: 2010-5-13 10:25
真羡慕这样的项目

作者: dennyqiang 时间: 2010-5-13 13:47
大家讨论一些实质性的话题或者指出这次测试有哪些不足，还有你看完报告有哪些地方是不理解的，或许比 “顶，感谢，好东西”这样的词汇来得对我们大家有帮助。

大家说呢？

作者: 5555 时间: 2010-5-13 13:59
学习了

作者: deep.blue 时间: 2010-5-13 14:38
好贴留名啊

作者: pipishi 时间: 2010-5-13 16:57
3.2.1 Web Service 接口单独测试
通过对上海服务器提供的Web Service 接口进行单独测试时(使用LoadRunner 直接发送请求，而不经过本地
服务器处理)，我们发现该接口在200 并发用户下其响应时间为6 秒，90%均消耗在上海服务器处理上，
而仅有10%消耗在网络传输上

报告中没看出来 10%消耗在网络传输上？

作者: salent 时间: 2010-5-13 17:39
发现报告里存在以下问题。
1。是不是少了对数据库的监控？
2。怎么判断负载均衡，并没有数据的说明。
3。是不是少了对客户端的软硬件信息的描述
4。每个节点400个线程数，我觉得有待商榷
5。混合场景的percent在报告里并没有体现
6。并没有做稳定性测试

作者: jiaoyujuluxing 时间: 2010-5-13 22:35
作为性能测试的初学者，感谢楼主分享

作者: zjx1001 时间: 2010-5-14 11:52
学习用，谢谢

作者: cc宝贝 时间: 2010-5-14 18:13
下不了啊。。。崩溃

作者: lixuangrace 时间: 2010-5-14 20:31
标题: 先下载下来然后认真研读，有问题再请教
先下载下来然后认真研读，有问题再请教

作者: goodgoodsutdy 时间: 2010-5-14 22:04
看了，真是一篇好贴，对我学习Loadrunner及测试报告都有帮助

作者: xiaoy035 时间: 2010-5-15 14:46
谢谢楼主分享！~

作者: msnshow 时间: 2010-5-15 22:32
是完整的测试报告么

作者: dennyqiang 时间: 2010-5-17 10:54
标题: 回复 22# 的帖子
那就再仔细看看。

作者: dennyqiang 时间: 2010-5-17 11:15

原帖由 salent 于 2010-5-13 17:39 发表
发现报告里存在以下问题。
1。是不是少了对数据库的监控？
2。怎么判断负载均衡，并没有数据的说明。
3。是不是少了对客户端的软硬件信息的描述
4。每个节点400个线程数，我觉得有待商榷
5。混合场景的percen ...

1。数据库无瓶颈，报告中未体现
2。监控Weblogic的吞吐量，报告中未体现
3。是的
4。请问多少个比较合适？
5。混合场景中所有场景的运行次数一样，并无设置特殊比例

作者: james_007 时间: 2010-5-17 11:16
好东西一定要支持一下的

作者: dennyqiang 时间: 2010-5-19 19:51
标题: 回复 26# 的帖子
经过测试确认PDF文档无问题，也能正常下载。

作者: 眼·M·小四 时间: 2010-5-20 10:13
听说这个报告写的很好

作者: winnertesting 时间: 2010-5-20 12:07
顶，支持~

作者: wfl51 时间: 2010-5-20 19:23
好东西，先学习一下。

作者: wfl51 时间: 2010-5-20 19:24
顶!

作者: jerryaaa 时间: 2010-5-22 11:42
学习了，谢谢

作者: peag 时间: 2010-5-23 11:27
强帖留名

作者: fengsuiyuanzou 时间: 2010-5-24 13:22
很详细的内容，学习了

作者: redstar 时间: 2010-5-24 13:32
Ramp Up 的设置策略：
a) 对于200 用户的单模块测试，Ramp Up 设置为10 用户/10 秒
b) 对于500 用户的单模块测试，Ramp Up 设置为20 用户/10 秒
c) 对于200 用户的多模块整体性测试，Ramp Up 设置为5 用户/20 秒

用户加压10用户/10秒、20用户/秒、5用户/秒，这个测试过程中怎么确定究竟每秒加载几个用户？依据什么？凭主观？

作者: redstar 时间: 2010-5-24 13:39
另外：
根据调研得知系统的用户数为2000，按照业界经验，取10%作为并发用户测试即可，本次测试取200
并发用户来评估系统的整体性能。

取系统用户数的10%，作为并发用户数，实际测试中这样换算，可靠吗？

实际测试中，并发用户数和系统实际用户数究竟怎么换算，还是有很多讨论的。

作者: piaolingxue423 时间: 2010-5-24 14:02
谢谢楼主分享

作者: 汉堡包 时间: 2010-5-24 16:03
不错，学习学习

作者: zhanqiao123 时间: 2010-5-28 17:27
来顶下，莫沉

作者: catexiaona 时间: 2010-5-28 17:29
谢谢分享

作者: yzhou452 时间: 2010-5-29 14:44
可否提供Load_analysis.lra

作者: dennyqiang 时间: 2010-5-31 16:00

原帖由 redstar 于 2010-5-24 13:32 发表
Ramp Up 的设置策略：
a) 对于200 用户的单模块测试，Ramp Up 设置为10 用户/10 秒
b) 对于500 用户的单模块测试，Ramp Up 设置为20 用户/10 秒
c) 对于200 用户的多模块整体性测试，Ramp Up 设置为5 用户/20 秒
...

很简单的原则：Ramp Up确保平稳增加即可。目的在于分析指标，只要能发现问题即可。世界没有完美的模型，相反，我非常反对那种教条式的公式，告诉你如何计算最大用户，如何模拟思考时间，如果我们做性能测试时，按照这些公式来玩，那就别玩儿了。

我，唯一信奉一个指标：TPS。

作者: dennyqiang 时间: 2010-5-31 16:05

原帖由 redstar 于 2010-5-24 13:39 发表
另外：
根据调研得知系统的用户数为2000，按照业界经验，取10%作为并发用户测试即可，本次测试取200
并发用户来评估系统的整体性能。

取系统用户数的10%，作为并发用户数，实际测试中这样换算，可靠吗？

实际 ...

抛弃那些条条框框，经验比什么都可靠，我的经验告诉我，这些最简单的模型最有效，经过我测试的系统，还未出现反弹或超越了我给系统制造的压力。

使用潜在用户的10%的进行测试，分析性能指标，寻找性能瓶颈，用20%~30%的用户进行压力测试，测试其稳定性。(潜在用户要相对准确，而通常也容易收集)。

作者: xiaoyaoke 时间: 2010-6-1 10:08
只想问：
这样的系统你是官方授权的测试还是个人学习？
如果是官方授权的测试，你怎么敢把测试报告发出？如果是个人学习，你怎么能选取这样的系统做测试？

作者: 一个男人 时间: 2010-6-2 01:53
支持，学习一下

作者: tttrrryyy 时间: 2010-6-2 10:36
只能说有待提高吧。

测试场景设计看不到，只有测试脚本，如果说一个脚本对应一个场景，那混合场景哪去了？
并发数的设置略显草率，只用一句业界经验说不过去。
语言上的描述，比如“平均吞吐量为每秒钟2.14MB”、对于Weblogic参数的描述都有不恰当的地方，文档前后也对应不起来，如JVM的参数设置，前面说堆大小，后面说内存大小，但这两个说法在这里都不是很正确。
weblogic上数据库连接池的监控呢？
weblogic为一组集群，但资源监控只有其中一台机器，并且只是一张静态的截图，无法有效说明问题，在200负载下与在500的负载下，难道都一样？数据库服务器完全没提到。
负载均衡器的users指标未做进一步说明，最大500并发，何来近100000个users，说明此users与我们传统上理解的有所不同。
并发数从200升到500，用户登录以及信息录入场景的平均响应时间大幅上升，瓶颈在哪里？是Radware转发不过去，还是Oracle忙不过来？问题出在weblogic的可能性不大。

一家之言，仅供参考，共同进步。

作者: qzj_test 时间: 2010-6-2 11:37

作者: howfly 时间: 2010-6-2 15:31
学习

作者: sunqiang1024 时间: 2010-6-2 16:10
支持楼主的共享精神，收下了，哈哈哈

作者: txs00 时间: 2010-6-2 16:50
标题: 回复 1# 的帖子
不错我顶

作者: ilove51 时间: 2010-6-2 16:57
好帖，先学习再请教。

作者: zhangchunde5233 时间: 2010-6-2 17:26
标题: 看看如何
挺好的，谢谢。顶

作者: btest128081 时间: 2010-6-2 17:27
顶上去，让更多人分享

作者: dennyqiang 时间: 2010-6-11 18:20
标题: 回复 53# 的帖子
跪求一份完美的性能测试脚本，场景设计，指标监控分析的测试报告。

作者: aishifu1 时间: 2010-6-13 11:20
注意职业道德。

作者: dennyqiang 时间: 2010-6-13 12:52

非礼勿视!

[ 本帖最后由 dennyqiang 于 2010-6-13 13:03 编辑 ]

作者: dennyqiang 时间: 2010-6-19 00:54

原帖由 redstar 于 2010-5-24 13:32 发表
Ramp Up 的设置策略：
a) 对于200 用户的单模块测试，Ramp Up 设置为10 用户/10 秒
b) 对于500 用户的单模块测试，Ramp Up 设置为20 用户/10 秒
c) 对于200 用户的多模块整体性测试，Ramp Up 设置为5 用户/20 秒
...

依据就是确保Ramp Up的过程中每一批用户都能被初始化完并且能提交请求，如果每1秒钟加20个会存在一个问题就是这20个用户还没有初始化好又开始加新的一批20个用户了，这失去了Ramp Up的意义。

作者: wslss007 时间: 2010-6-20 20:10
先看看，谢谢。

作者: anqiers 时间: 2010-6-22 11:32
标题: 回复
强哥的贴子是一定要顶起来的！

作者: freewlegend 时间: 2010-6-22 15:59
看看再说！

作者: ddeyo 时间: 2010-6-23 17:33
才接触LR，希望有所帮助，

作者: gosien 时间: 2010-6-24 15:55
标题: 好帖子
我是新手，呵呵

作者: twinsczl 时间: 2010-6-28 15:49
敢问楼主，事务响应时间是如何计算得出的？

作者: twinsczl 时间: 2010-6-28 15:53
在测试500 并发用户时，RadWare 负载均衡器CPU 使用率一度达到 96%，用户数也接近100000，

500并发用户，和100000是什么意思？

作者: cp_test 时间: 2010-6-28 16:47

作者: Tesherlock 时间: 2010-7-4 12:06
感谢强哥分享这么有价值的报告！

作者: laoda2128 时间: 2010-7-4 20:33

学习了

作者: 蓝天有约 时间: 2010-7-5 12:09
强贴，顶

作者: imsj0108 时间: 2010-7-5 16:52
标题: 顶！

作者: 51mobile 时间: 2010-7-6 14:14

支持下先，不过看了后好像分析的比较简单啊

作者: heporen 时间: 2010-7-7 17:07
thanks

作者: zhengjie963 时间: 2010-7-7 17:43

作者: testbj2010 时间: 2010-7-16 16:06
标题: 回复 1# 的帖子
hao

作者: msnshow 时间: 2010-7-16 21:10
不是完整版的吧

作者: zhendou 时间: 2010-7-17 20:35
楼主说的有道理，不是啥都能快的，该慢得慢。

作者: cscnkob 时间: 2010-7-18 21:47
太谢谢了

作者: hai105 时间: 2010-7-20 10:48
学习下，顶顶

作者: felix87 时间: 2010-7-21 15:10
先下来看看

作者: phccc222 时间: 2010-7-22 16:18

非常感谢

作者: jyqcpu 时间: 2010-7-22 20:14
标题: ddddddddd
顶了再看

作者: zenglei 时间: 2010-7-23 09:07
标题: 一句话不太懂请教楼主
1) 根据调研得知系统的用户数为2000，按照业界经验，取10%作为并发用户测试即可，本次测试取200
并发用户来评估系统的整体性能。？？？

系统用户数指的是什么？业界经验取10%做并发用户？
上述一个是2000，一个是200，对应到loadrunner分别是什么？

在下不才，请教楼主了

作者: shwonder 时间: 2010-7-23 09:40
先占个脚印，拜读完了再回来顶。

作者: xjx7609 时间: 2010-7-23 11:40
标题: 顶一下好贴莫沉
顶一下好贴莫沉

作者: yuluuc 时间: 2010-7-25 22:24
支持了。谢谢分享

作者: xbyl1314 时间: 2010-7-26 16:56
好贴啊！感谢楼主分享~~！！

作者: renxiujuan 时间: 2010-7-27 15:47
我是新手支持下呵呵路过学习

作者: minyahu 时间: 2010-7-27 16:03
标题: 学习学习。。。
实战，实用

多谢强哥的分享

作者: HarryBean 时间: 2010-7-27 18:17
确实不错，和之前的公司做的很类似，让人有一种熟悉的感觉。

作者: linyucc 时间: 2010-7-29 12:58

学习

作者: dennyqiang 时间: 2010-8-2 21:07

原帖由 zenglei 于 2010-7-23 09:07 发表
1) 根据调研得知系统的用户数为2000，按照业界经验，取10%作为并发用户测试即可，本次测试取200
并发用户来评估系统的整体性能。？？？

系统用户数指的是什么？业界经验取10%做并发用户？
上述一个是2000， ...

已短信回复。

作者: dennyqiang 时间: 2010-8-2 21:09

原帖由 twinsczl 于 2010-6-28 15:53 发表
在测试500 并发用户时，RadWare 负载均衡器CPU 使用率一度达到 96%，用户数也接近100000，

500并发用户，和100000是什么意思？

100000是RadWare负载均衡器里的一个指标，可以认为是session连接数，跟LR中的500并发用户没有直接的关系。
当然，LR模拟的客户端并发用户越多，毫无疑问，Radware的session数会更多。

作者: kathyge 时间: 2010-8-10 16:00
崇拜楼主，好东西啊，学习了

作者: hujian0815 时间: 2010-8-13 15:51
标题: 顶
下来看一下，学习中。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)