CTS测试

lsekfe

CTS测试全称为系列兼容测试（Compatibility Test Suite），CTS是为了测试手机是否符合Google定义的兼容性规范（Compatibility Definition）而设置的。顾名思义，CTS测试是针对谷歌系统框架（GMS）进行适配性测试的。目前正在兴起的鸿蒙操作系统（Harmony OS）可能无法完全适配。

CTS这个兼容性测试和软件测试中的兼容测试是完全不同的概念。CTS测试是针对设备的，只有通过CTS测试的设备才有可能获得Android的商标，并且享受Android Market的权限。

由于Google系统的开源性，使得很多手机厂商基于安卓系统都做出了深度优化，从而造成了移动终端的碎片化，导致Android终端兼容性差的问题，严重影响了用户体验。所以基于谷歌服务框架进行统一验证就成为一种必须的验证性工作。

CTS目的与意义就在于令用户在Android系统中有更好的用户体验，并且展示Android应用的优越性，使得开发者更容易编写高质量的Android程序。

广义的CTS测试包括CTS基本测试和CTS Verifier测试两部分，后者是前者的补充，CTS检查的是API和功能，而CTS Verifier是测试在静态设备上测试无法自动测试的API和功能，例如音频质量，触摸屏，加速度计，相机等等。简单来说，CTS测试可以自动化，而CTS Verifier是只能手工进行测试的。

一、CTS的测试原理

CTS测试，是通过在PC端安装CTS测试套件，将被测试设备——手机，通过数据线和PC连接起来，完成测试用例的执行，并把测试结果返回给PC端。具体的工作流程如下图：

这是一个完整的CTS测试流程，根据轨迹线可以看出来详细的流程。

一、CTS测试环境的搭建

需要说明的是，CTS测试是针对GMS进行的，而安卓系统是基于Linux深度修改而来，CTS测试基本上是在Linux环境中运行的，其间需要大量的Linux命令进行辅助。故在PC端运行环境要求最低在ubuntu 14.04以上。所以没有Linux基础的测试工程师，需要在这一环节进行之前，补齐Linux相关的知识。

环境搭建之前，需要准备好相应的jdk，sdk，CTS测试包等，在这里需要统一选择Linux版本。另外，需要连接IPV6翻墙网络。

接下来首先需要确认jdk和sdk的安装，Linux上的验证与Windows大同小异。如果ubuntu没有安装相关环境，则需要手动安装。

1)     JDK与SDK的安装

将下载好的jdk安装包移动到/usr/lib/jvm目录下，然后再解压，解压后得到文件夹jdk1.x.x_xxx。最后设置环境变量，在.bashrc中进行配置：sudo vim ~/.bashrc

添加以下代码在文件末尾：

1. export {JAVA_HOME}=/usr/lib/jvm/jdk1.x.x_xxx
   
2. export PATH=$JAVA_HOME/bin:$PATH

复制代码

添加完成后保存退出。

下载好sdk包，进行安装。输入sudo vim ~/.bashrc 打开.bashrc文件，并在文件末尾编辑加入以下内容：

1. export {ANDROID_HOME}=SDK路径
   
2. exportPATH=$PATH:$ANDROID_HOME/tools
   
3. exportPATH=$PATH:$ANDROID_HOME/platform-tools

复制代码

以上是jdk和sdk的配置安装。

2)     APE_API_KEY配置

Google 会强制执行GMS业务逻辑（BL，Business Logic）身份验证。如果没有正确配置测试环境，验证失败将导致无法进行后续步骤，而要配置测试环境，需要获取密钥文件。业务逻辑身份验证会影响以下阶段的测试。随着系统版本不断提升，数据安全性和系统安全性的不断加强，将会有更多的测试需要进行业务逻辑身份验证。

密钥文件，是一份json文件，可向合作的3pl实验室获取；获得后，将密钥文件拷贝到待测主机上，进入./bashrc文件添加环境变量：sudo vim ~/.bashrc，并在文件末尾添加下面代码：exportAPE_API_KEY=/home/{KEY_FILE}。

配置完成后保存退出后输入source  ~/.bashrc进行更新。键入如下命令，测试环境是否配置成功：run gts -m GtsPlacementTestCases -tcom.google.android.placement.gts.DefaultIntentTest#testDefaultIntentHandlers

提示pass则表示配置成功。

3)     配置USB

将下载的USB配置文件拷贝到 /etc/udev/rule.d之下，不要修改文件名，然后执行以下命令：

sudo /etc/init.d/udev restart

adb kill-server

adb start-server

adb devices

4)     安装aapt

aapt是AndroidAsset Packaging Tool的缩写，在SDK的build-tools目录下。该工具可以查看、创建和更新ZIP格式的文档附件(zip, jar, apk)。在CTS测试中，需要用sudo apt-get install aapt来进行安装。

以上配置全部完成后，PC端的CTS环境配置就全部结束了。接下来需要对被测设备进行环境配置与搭建。安卓手机的环境配置内容来自于官网翻译：

5)     安卓设备设置

l  工厂数据重置设备：设置>备份和重置>出厂设置复位

警告：这将清除设备中的所有用户数据。

l  将设备的语言设置为英语（美国）：设置>语言和输入>语言

l  如果设备上有GPS或Wi-Fi /蜂窝网络功能，请打开位置设置：设置>位置>开

l  连接到支持IPv6的Wi-Fi网络，可以将被测设备（DUT）视为隔离客户端（请参阅上面的物理环境部分），并具有Internet连接：设置> Wi-Fi

l  确保设备上没有设置锁定模式或密码：设置>安全性>屏幕锁定>无

l  在设备上启用USB调试：设置>开发人员选项> USB调试。 注意：在Android 4.2及更高版本上，默认情况下隐藏开发人员选项。要使它们可用，请转到设置>关于手机，然后点击构建号码7次。返回上一个屏幕以查找开发人员选项。有关其他详细信息，请参阅启用设备上开发人员选项。

l  确保时间设置为12小时格式：设置>日期和时间>使用24小时格式>关闭

l  选择：设置>开发人员选项>保持清醒>打开

l  选择：设置>开发人员选项>允许模拟位置>打开

注意：此模拟位置设置仅适用于Android 5.x和4.4.x.

l  选择：设置>开发人员选项>通过USB验证应用程序>关闭

注意： Android 4.2中需要验证应用步骤。

l  启动浏览器并关闭任何启动/设置屏幕。

l  连接用于使用USB电缆测试设备的台式机

注意：将运行Android 4.2.2或更高版本的设备连接到计算机时，系统会显示一个对话框，询问是否接受允许通过此计算机进行调试的RSA密钥。选择允许USB调试。

在设备上安装和配置帮助应用程序。

l  注意：对于CTS版本2.1 R2至4.2 R4，请设置您的设备（或仿真器）以运行辅助功能测试： adb install -randroid-cts/repository/testcases/CtsDelegatingAccessibilityService.apk

l  在设备上，启用：设置>辅助功能>辅助功能>委托辅助功能服务

注意：对于7.0之前的CTS版本，在声明的设备上 android.software.device_admin，将您的设备设置为运行设备管理测试：

adb install -randroid-cts/repository/testcases/CtsDeviceAdmin.apk

l  在设置>安全>选择设备管理员，启用两个android.deviceadmin.cts.CtsDeviceAdminReceiver*设备管理员。确保android.deviceadmin.cts.CtsDeviceAdminDeactivatedReceiver和任何其他预装设备管理员保持禁用

l  将CTS媒体文件复制到设备，如下所示

注意：对于CTS 2.3 R12及更高版本，如果设备支持视频编解码器，则必须将CTS媒体文件复制到设备。

l  cd到媒体文件下载并解压缩到的路径。更改文件权限：chmodu+x copy_media.sh ，然后运行copy_media.sh.

要将剪辑复制到720x480的分辨率，请运行： ./copy_media.sh 720x480 如果您不确定最大分辨率，请尝试./copy_media.shall复制所有文件。 如果adb下有多个设备，请将-s（serial）选项添加到末尾。例如，要使用串行1234567将设备复制到720x480，请运行：./copy_media.sh 720x480 -s1234567

通过以上步骤，完成CTS环境的PC端和被测设备端的环境配置。

二、执行测试

1． 整体测试

进入/android-cts/tools,打开终端，用adb devices查看手机是否连接成功，如手机已连上，输入./cts-tradefed进入测试环境。当前没有提示错误的情况下，可以输入测试命令进行整体测试：runcts –-planCTS。

因为是全量测试，整个测试过程持续时间较长，测试完成以后自动生成结果报告和Log，结果报告位于android-cts/repository/results目录下，用浏览器打开testResult.xml 即可看到测试结果。Log位于android-cts/repository/logs目录下。

任何测试设备，都至少要在通过最后测试，出具通过认证证明之前，完整地运行过两次整体测试。

2.分项测试

由于整体测试过程中有时候会由于网络差等因素造成某些测试项fail,我们需要对这些fail项进行单独的测试。可通过运行run cts –c CName –m MName进行单项测试(CName表示类名，MName表示方法名)

对某一个fail项进行单项测试可执行如下命令：

run cts -clibcore.java.net.InetAddressTest -m test_getByname

单独测试某个类，可以使用命令：run cts –c {CName}，{CName}为类名。

单独测试某个包，可以使用命令：run cts –c {PName}，{PName}为类名。

在这里需要注意的是：单独进行分项测试时，必须输入类名全路径。

单项测试生成的是单独的测试报告，如果需要将其合并入完整报告，可将完整报告testResult.xml中的fail的替换成notExecuted。然后运行run cts –continue-sessionsession_ID, session_ID为完整测试的ID，可通过l r查看，如果要将Session 0的fail项融进整体报告，可使用命令：run cts –continue-session 0。

为了排除环境等其他因素的影响，单项测试请至少测试3次，以消除干扰因素。

三、错误分析及提交报告

1.     错误项的分类

测试报告的失败项分为两类：一类是可以搁置的，这一类失败项是谷歌框架和安卓系统自身的原因，经谷歌同意可以不用处理的项。另一类是需要进行分析修复的。

关于可以搁置的选项，可以搁置的选项一般会有一个表格维护，这个表格会不定时更新，可到谷歌官网进行查阅。

2.     报告提交

提交正式报告前需检查一下Root Processes，去掉不必要的信息，突出显示通过测试报告的结论即可。

以上是CTS所有测试的大致步骤和流程，考虑到这是一个较为高阶和整体的测试，其中的部分细节针对不同的软件版本和硬件差异会有不同，而且CTS测试在软件测试过程中所占的份额并不大，故适合高级测试工程师或专门的CTS测试工程师进行研究。