百万用户的考试系统如何做性能测试？

zengli80

公司最近开发了一个针对全国性质的网络知识竞答系统，预计有百万用户，领导要我提出：
1、性能指标（比如注册、登陆、答题的响应时间多少才合适？）
2、如何可以说明系统已经可以承受百万用户

问题：
1、同一ip模拟多用户，与不同ip造成的压力是否一致，测试时是否一定要启用IP欺骗呢？就算启用ip欺骗，出去的是不是还是一个ip？
2、1000并发没有设集合点，是否就不算真正并发？
3、按照书上说的取总用户10%做并发，那百万用户岂不是要做10万并发？

dionysus

分析一下这个系统投产环境的软硬件资源和架构（测试环境是否就是投产环境？如果不是则存在多大差异），业务场景（是否百万用户会在集中时间访问，用户权限和访问模块的比例等），性能测试关注点（前台，应用，数据库...后台是否可以设置挡板程序）
对于IP欺骗要看你的程序是否对客户端IP有限制，禁止同一IP并发访问或有其他技术和业务要求，如果没有就无所谓。
保证发压端和被测服务器在同一网段，且网络不成为瓶颈，集合点可有可无。
我听过很多人说过并发用户数量≈10%的在线用户数量，这是个不精确而且也没什么道理的换算比例，先不着急确定并发人数，分析下你的业务场景吧。

zengli80

1、现在测试用的服务器就是将来要投产的，只不过现在局域网测试，带宽为10M-100M自适应，以后是要把服务器托管到电信机房，申请的100M带宽
2、现在业务场景主要是：竞赛开始时可能会有大批量用户注册，以后就是每天登陆进去反复答题，每套试卷50道题，答完题提交后可以再答第二套试卷，分数累加；再就是统计查询各省、各企业的排名
3、我设计的是：注册、登陆、答题、统计做测试，但不知如何做用户的加载策略，比如1000用户是同时加载还是每10秒加载2个，不知什么策略才算合适
4、另外，我用LR测试时，同样的登陆操作，500用户，测第一遍可能是10s，测试第二遍就变成2s，感觉很不稳定，为什么会这样？

zengli80

jj_ljw

第四个问题，其他条件都一样啊，那10s中哪部分占的比重大

zengli80

zengli80

zengli80

zengli80

以上是我的测试结果，很多时间都花在接收上，说明什么问题，还有细分后说是服务器处理花时间，这是说明服务器处理不了吗？

jj_ljw

网络吞吐量到100m没，如果到了，怀疑2s那个没执行成功。没到，看下服务器资源耗用情况

own79

还是监控下服务器信息吧，可能服务器要增加一下

zengli80

cpu利用率不高，20%左右，吞吐量也就7M/s左右，测试结果就是不稳定，是何原因啊？

zengli80

对于这种百万用户，只做注册、登陆、答题、统计操作，要估算多少并发才算是达到要求呢？

dionysus

建议lz划分多个场景进行测试。
如果这是一个新系统，则用户注册会是一个并发较大的场景。了解下系统是否同时对全国开放注册，注册操作是否会集中一定时间段（）。因为你测试的就是投产环境，那不妨先压着看，梯度加压，并且每次都持续一段时间，直到并发最高值（你的并发license最高数量），做检查点，监控事务响应时间，如果压力够应该能看到一个曲线。
用户参与竞答可以是另外一个场景。把用户登录和退出放到init和end中，主要的竞答部分放到action里，另外Browser Emulation里的选项也注意一下，尽量模拟实际用户。
另外LR的帮助中提到监控里显示的Network Time和Server Time仅是一个估算值，如果测试时网络传输上有波动则会不准确，个人建议不要全信LR里显示的指标。
个人意见，lz参考。

zengli80

系统是同时对全国开放注册，注册操作是否会集中一定时间段，这无法确定
Browser Emulation里的选项要如何设置合适？因为不确定实际用户情况

zengli80

如果系统能支持1万并发，性能表现还可以的话，能说明什么问题？能代表支持百万用户？

lyscser

并发数要不了这么大吧，不单按照2/8原则去计算，同时结合在线时间去计算一把，假设一次问卷操作需要10分钟，那就是1/6小时，系统提供7*15的服务（每天15小时），对于并发数来说，窃以为可以这么算：
(100万*0.8*1/6)/15，并发大约9K的样子，不需要10万吧

zengli80

这个系统预计开放头3天会有很多人注册，那么设置虚拟用户的加载策略为多少才合适呢？
我设置1秒加载1个，视乎没什么压力，同时运行的用户不超过6个

ccz

性能讨论，新建的群，欢迎高手加入，群号：40347906

xueying1123

关注