解读TB手游测试报告 - 51Testing软件测试论坛

近日，率先推出手游测试3.0的手游自动化云测试平台TestBird访问美盟科技，针对手游自动化测试的产品未来的完善方向进行了深入探讨。美盟科技CEO尹训宇同来访人员相谈甚欢，并表示TestBird手游测试平台对中小CP团队的帮助很大。

测试报告的评分方式兼容性评分和性能评分两部分通过加权计算出总分，第一页是测试报告的概要信息。可以看到本款游戏在平台上的整体表现，测试调用的机型数量，覆盖人数的具体情况。同时使用者还能看到整体行业指标与自身产品的对比，这里面包括启动、安装、新手引导各种各样的情况。

值得注意的是TestBird工程师在和合作CP的工程师进行沟通后发现他们很关注行业最优指标和行业平均指标，因此我们也在测试报告中加入了这一参考项。

以下可以看到TestBird能够针对游戏进行深入到内部的流量、启动时延、CPU占用率、内存占用、IO等待率、温度等监控，同时还有兼容性测试过程中各个兼容性问题的分布情况。通过这里可以看出新手引导阶段出现大量游戏闪退，那么作为CP就要优先解决这个问题。

另外在新的测试报告里我们还根据CP的要求增加了游戏连接异常和程序异常等兼容性异常报告项内容。可以更好地结合其他上方的概况进行分析。

以下这里可以看到游戏整体在终端上的流量、启动时延、CPU占用率的整体情况。右侧这个TOP5的排行也是TestBird工程师与CP的工程师们长期沟通完善出来的，需要注意到本款游戏在索尼s55u上启动时延很长，因此CP可以关注这款设备的适配。而在华为C8650上的CPU占用率则很高，这款设备的优化就显得更重要了。

内存占用也是CP最关注的一个项目，这款游戏的内存占用情况低于业界均值，说明只要内存没有出现大问题的情况下不需要太过在意内存优化了，而IO等待率和温度控制也是不少厂商关注的。

测试报告上还提供了大量的问题详细描述，这里面包括大量的截图信息。值得注意测试报告中所有的蓝色显示的机型都能通过点击连接到相关页面，具体截图会在下问题到。

有时CP会关注测试游戏在各品牌、各价格档位终端上的表现情况，我们提供了各种手机品牌、屏幕、系统和CPU等分类板块，适合CP结合自身靶向目标进行选择性优化。

不兼容终端、待优化终端和通过终端的汇总，点击对应终端可以跳转链接至对应终端日志页面。对应页面中有整个测试过程的截图与完整的逻辑日志，透过这样图文并貌的方式帮助CP定位问题。

本游戏在对应某款机型上面的截图与性能跟踪，下方还能看到逻辑日志

美盟在拿到TestBird测试的报告后，针对测试报告进行了一些分析后，解决了很多问题，并且还向TestBird提供了大量的反馈建议，这样我们未来也会将这样的信息记录下来形成行业经验。未来将能够为其他行业伙伴提供更多的参考。

大数据的价值早已被提烂，但手游厂商对数据的获取能力依然有好有坏，不论是前期立项还是后期运营，包括手游测试，不少中小厂商都只能摸着石头过河。没能背靠大树的工作室终究只能依靠经验解决问题，导致产品的整个开发过程都包裹在了一片浓雾中，雾不散，永远不见前路。

gdctuyj 发表于 2015-1-15 15:28
大数据的价值早已被提烂，但手游厂商对数据的获取能力依然有好有坏，不论是前期立项还是后期运营，包括手游 ...