如何迎接下一代富网络应用测试？（10-07-12）（获奖名单已公布）

Aimbot

首先肯定是要学习新的测试框架啦 http://docs.flexunit.org/index.php?title=Main_Page

其次，我觉得真正的挑战是以下几点：
1. 测试的精确性（精确和准确的区别请参见wikipedia）

• 特别是现在“集群”的在数据数方面的应用把并发查询的处理速度提升到了一个很恐怖的数量级上，且对并发数量越大越能体现出性能的优势。。。测试团队能否把并发的时间切片提升到毫秒上？
• 是否可以利用云平台的来模拟用户？10个甚至1个虚拟用户用1个instance来取代原先的1个process来模拟一个用户？这样就能省掉操作系统做进程调度的时间，从而提升测试精度。
  

应对方案：亚马逊的EC2

2. 测试分析

• 以前针对要分析的数据用个excel的数据透视表就能搞定，数据源也就几个。
• 现在单数据源这块就横跨了好几个操作系统，加上应用本身的profiler，再分析前需要建立良好的分析模型和工具。
• 然后分析数据量也大了n倍，1个小时就会生成近1千万行的测试数据。注意：这些数据是拿来计算的不是筛选的。
  

应对方案：建立分析型数据库和相关的数据库应用（用游标写实现标准时间间隔内数据库查询响应时间的中位数是悲剧。。。）

3. 性能模拟的等价代换

• 一个在线服务支持几百万用户同时在线，我们真的要模拟这么多用户么？或者说我们有能力模拟这么多用户么？
  

应对方案：服务器端性能降级，画出等价公式。

3. 真实世界的QoS测试

• 不知道大家用过google的Analytics没，前段时间看过我们对公司在facebook上的某游戏做过用户地域分析，发现大多数投诉游戏有质量问题的用户集中在网很“卡”的地区。即便游戏在release前做过大量QoS模拟的测试，实验室数据总归是跟真实情况有差距的。
  

应对方案：尽可能让你的测试脚本大众化，一个可以在jmeter上跑的测试用例要好过无数in-house工具上写的复杂脚本。因为像watchdog这样的网站，可以提供把你的脚本部署到分布在全世界各大地区的测试服务器上运行的服务（只支持免费且大众的test framework）。

5. 知识，技能，knowhow
记得在某网站上看到：测试是强大的，只是我们没有足够的能力去驾驭它。