TestQuest CountDown手机自动测试方案

挪威森林 · 发表于 2007-5-8 15:28:36

一、全球无线和移动设备制造商所面临的挑战
随着GSM、CDMA、WCDMA、CDMA2000及中国自主研发的TD-SCDMA等手机新技术的不断涌现，基于业务应用层面开发和测试比重的增加，复杂度的不断提高以及手机和传统上基于PC的应用服务的快速融合,使得手机测试的难度和工作量大大增加。同时,由于市场的竞争越来越激烈,每款手机的生命周期越来越短,手机厂商都希望领先于竞争对手将自己的新款手机投放市场以获得更多的利润,这就意味着留给手机研发和测试的时间将大大的减少. 在全球化市场中，设备制造商除按照地域性要求对终端功能进行定制外，还要满足国际移动运营商的入网测试需求，这对于国内终端设备制造商来说又是一个挑战。因此,如何在最短的时间内,最大限度地测试手机的各项功能和应用,有效的面对手机测试过程中日益增加的复杂性，并满国际移动运营商的需要，同时大幅降低手机测试的成本就成了摆在每一个手机厂商面前的一个重大课题。
二、全球无线和移动设备制造商的测试需求
为了提高最终用户体验，增加用户的忠诚度，移动运营商及移动设备制造商随着用户要求的不断提高以及通过不断的积累，都要求对移动设备在推向市场之前进行以下的测试：
功能性测试、压力测试、性能测试和回归测试
不同操作系统和硬件平台之间的兼容性测试
不同网络环境下的交互性测试
与其它厂商制造的设备之间的一致性测试
应用程序之间并发性测试
其它Non-UI测试
从此可以看出，测试工作非常复杂，并且工作量巨大。而现在很多国内的移动设备制造商还在采用手工测试，而手工测试是存在着很大的局限性的：
可靠性低：测试工程师在很小的手机屏幕上操作太久则容易疲倦，造成测试可靠性下降。比如，测试工程师可能会混淆‘O’和‘0’，或无意中跳过测试规范中的一页。
准确性差：比如，测试工程师难以发现包含100个字符的文本信息中的一个错误，或由于一步操作失误而不得不重新开始一个测试用例。
覆盖率小：手工测试难以发现出现概率较小的错误，或难以重现之前发现的错误。
一致性差：当测试并发事件时，需要同时操作多个终端或同时运行多个应用程序。手工操作很难控制。
测试过程的不可重现性。
测试速度较慢，无法进行7*24的工作。
因此，采用手工测试是不可能很好的在产品投向市场前的最后一关保证优良的产品质量的。
三、现有的自动化测试工具已难以适应无线和移动行业日益增长的测试需求
由于手工测试的一些弊端，很多移动终端制造商大都早已开始了自动化测试工具的开发及使用，然而传统的自动化测试工具对人员要求很高，而且还存在着操作系统，手机型号不同而导致测试用例的不可重用性。
需要用户具有很强的编程技巧，需要编写大量脚本(C/Tcl/Tk…)来创建测试用例。
QA部门(组织)熟悉行业测试规范，但是一般没有自己的技术开发团队，难以完成大量的编程工作。
传统的自动化测试工具大多专门为某个手机平台或操作系统设计，很难应用于其它手机平台或操作系统。
市场上终端采用的硬件平台、操作系统以及网络制式各不相同。在传统的自动化测试工具中开发的测试用例很难在不同的终端之间进行移植。
四、TestQuest自动化测试平台 – CountDown
美国TestQuest公司作为在全球手机及移动应用测试领域的领先厂商,基于近10年来和Verizon等全球知名的移动运营商,Nokia、Motorola、Samsung、ZTE等手机厂商的合作过程中所积累的丰富经验,于2006年正式推出了第四代自动化测试平台CountDown,从而真正解决了对任何手机制式,任何操作系统以及任何硬件平台的手机进行自动化测试的难题.
专门为无线和移动行业设计的自动化测试平台。集成了测试开发、测试管理与测试执行功能；支持分布式研发团队之间测试资源的开发与共享。我们提供7/24的自动化测试解决方案，以帮助无线和移动设备制造商缩短产品在市场上推出的时间。
适用于所有类型(Windows Mobile/Symbian/Linux/Brew等开放式操作系统和专用/私有操作系统，所有硬件平台 GSM/GPRS/WCDMA/CDMA/CDMA2000/TD-SCDM等制式)的手机和手持终端设备，提供完整端到端的自动化测试解决方案。
自动测试过程基于UI(用户接口)/MMI(人机接口)实现：通过控制终端的键盘、旋钮和触摸屏来模拟测试工程师的双手操作；通过抓取LCD屏幕显示图像进行智能OCR识别来模拟测试工程师的双眼辨识文字或图像信息。真正实现独立于任何操作系统、任何硬件平台或任何网络制式的自动测试。
全图形化的开发环境，使得用户无需编写任何代码即可完成测试用例的开发、调试及运行。并且，开发完成的测试用例，无需改动或稍微改动，即可移植应用到其它类型的手机或手持终端设备。
CountDown自动化平台由TestDesigner, TestManager, TestRunner and AssetManager组成：
TestDesigner 是一个全图形化的开发环境。用户无需编写任何代码即可实现Test Case的开发、调试及运行。
TestDesigner

TestManager 是基于 IE 浏览器开发的测试资源管理工具。帮助用户进行测试规划、测试执行并对测试结果进行分析。
TestRunner / DAS(Device Access Software) 控制本地或远程终端运行测试任务，并将测试过程中产生的日志 (Log) 文件传送到TestManager 以生成测试报告。
AssetManager 使用 MS SQL Server 数据库统一存贮和管理测试资源，以方便各个分布式开发团队之间的资源共享。

CountDown的各个模块不但功能上相互独立，还可以根据用户的具体需求布置在不同的地理位置；真正实现了全球范围内团队间的协作开发。

可以真正实现：
测试任何类型的手机或手持终端设备
同时连接多个终端设备进行端到端的系统测试
测试资源跨平台的移植和重复使用
实现整个移动产业链上不同测试团队之间的开发协作