CTS测试流程及注意事项

一月蔷薇_456

一、测试前的准备

1.测试环境：在Linux系统下测试 安装SDK,JDK,ADB,Python工具包。


2.下载媒体文件包：

   下载网站：https://source.android.com/compatibility/cts/downloads （在网页的最下方）


3.下载需要测试的软件包


4.手机准备

（1）刷好需要测试的版本

（2）设置好基本的设置

       1.手机打开开发者模式（setting–>About phone–>build number连续点击build number数次可将开发者模式打开）

       2.打开stay awake和USB debugging,关闭Verify apps over USB (须先打开开发者模式才能看到此项,setting-->other setting->Advanced settings)

       3.设置最长亮屏时间（setting–>Display and brightness-->sleep）

       4.设置屏幕锁为无

       5.设置语言为英语

       6.时间设置为12小时

       7.手机插入联通SIM卡和UICC白卡

       8.连接网络（可以翻墙且支持IPV6网络的WiFi）

       9.请勿遮挡测试手机的摄像头，且将摄像头对准可以聚焦的物件（否则camera相关测试大概率通不过）




二、测试过程

1.将手机和电脑连接

2.将下载好的测试包和媒体文件包拷贝到Linux环境中

3.解压测试包和媒体文件包（命令输入unzip 测试包名）

4.将解压过的媒体文件导入/tmp/android-cts-media/目录下（此操作执行后，无需在手动push媒体文件到手机上了，系统会自动push）

5.进入测试环境（即解压的测试包目录下的android-cts–>tools）输入 ./cts-tradefed

6.进入测试环境后会显示正在连接的手机编号，检查待测手机是否全部连接

7.命令输入 run cts --shard-count n --device-token sn1:sim-card --device-token sn2:sim-card-with-certs (n=连接的手机数量，sn1=插有联通SIM的手机序列号，sn2=插入uicc白卡的手机序列号）；




三、第一轮测试结束后

1.第一次测试结果往往不准确，所以需要测试几次，才能达到理想的测试结果，所以这个时候需要retry.


2.retry即在原来的测试基础上将上一轮测试fail或者未执行的cases进行再次测试，retry步骤：

（1）run cts --retry id (id为需要复测的session id)

   注：GTS/Android P 复测时使用：run retry --retry id


3.CTS一般需要4-5次的测试才能达到想要的结果、GTS需要3次左右才能达到想要的结果


4.单包测试及其他测试指令

  （1）单包测试:run cts -m 包名

  （2）多包测试:run cts --include-filter 包名 --include-filter 包名 ...

  （3）指定特定的包不测试: run cts --exclude-filter 包名 --exclude-filter 包名 ...

  （4）单个case测试: run cts -m 包名 -t cases名

  （5）指定测试的手机: run cts -s 手机编号（-s不能复用）

  （6）其他常用的命令：

• l m: 查看测试包所带的所以测试module
• l i：显示正在测试的手机及已测试时长
• l r：显示之前的测试结果
• l d：显示已经连接的手机
• --skip-preconditions/-o ：跳过环境检测（缩短测试前期所需时间，多台手机一起测试时可以不用）
• --device-token：指定具有给定令牌的给定设备，具体参考上面二中的7步骤
• kill：退出当前测试
  

四、测试结束result和log

1.测试结束后会自动生成results，其目录在\android-cts\results下，可根据测试的时间找对应的results

2.推荐使用谷歌或者火狐浏览器浏览test_result.xml或者test_result_failures.html文件，可具体看到测试的结果。由于cts测试数量集太大，查看报告是可打开test_result_failures.html文件进行查看。




五、相关事宜

1. 测试CTS、GTS、CTS-ON-GSI、VTS时都必须使用user版本，非root的手机进行测试，否则会影响测试结果。STS需使用userdebug版本进行测试。

2. 在测试GTS时，测试主机需连接可以翻墙的网络，否则测试会无法进行。如电脑无法连接外网，也可以在run gts 后加入参数--ignore-business-logic-failure 进行测试。
   例：run gts --ignore-business-logic-failure
   但不确定此操作会不会影响测试结果

3. 测试VTS时电脑无需连接翻墙的网络，但是需要连上可用的网络，否则测试开始或者中途会直接跳出来。

4. 测完第一轮后，建议将手机恢复出厂设备再测进行复测。

5. 在做cts测试时尽量注意测试卡的利用，部分module在测试时会发送大量短信，尽量避免测试卡一天内或者一个月内多少使用。否测有可能会被禁掉发送短信功能。
    如在测试CtsTelephonyTestCases时，如有大量cases通不过，请检查sim卡是否欠费。如未欠费，请检查sim是否可用正常发送短信。一般这个包都不会有问题。

6. 目前只有CTS测试时需要插入sim卡，做其他测试时可以不用插入sim卡。

7. 做CTS测试应使用联通卡、且能识别自身号码的sim卡进行测试。