[你问我来答第11期]：怎样设计实用性的测试用例（已结束）

lizhiwei

你好,我想问下,设计智能手机的测试用例,有哪些注意事项.

hongsword

想咨询一下什么是测试解决方案？当前有专门提供测试解决方案的公司没？

frankwangzy1103

专家~~，又见专家

Jackc

回复 12# 水中的鱼

我现在业余时间进行苹果手机的app的测试，请问：
"1.手机的测试用例设计应该从哪几个方面考虑。"
答
1）.测试模块划分
不论是以前通讯功能为主的2G手机，还是如今注重应用程序的3G手机，如果将整机看作测试对象，那么这个对象对于任何测试团队（个人）来说，都是过于庞大的，所以，合理的功能分类，针对各个分类功能的独立测试和组合测试，才是完成整机测试的捷径。
而测试模块分类粒度取决于测试目标。如，若是需要完成整机质量评估，则通常划分粒度为独立的功能模块（电话本、短信...）；若测试对象仅为单个功能模块，则可以将此功能模块的单个功能划分为一个测试模块，如电话本的增加联系人。

2）.整理测试模块内部和外部分结构
针对单个测试模块，分析其结构（可以从界面结构或实现原理结构两方面任选一个），最好画出结构示意图，便于后期设计测试用例或指导测试执行。
比如，测试模块为短信。
按照功能划分，它的一级内部结构组件有：新建消息、收件箱、发件箱、小区消息、特殊应用
再向下，特殊应用的组件有：消息分类、消息过滤....
……
而在短信程序的外部，它联系的其他的应用有：待机界面应用程序接口、状态栏消息状态显示、待机界面提示信息到短信阅读功能接口、短信阅读功能到联系人接口.....
将整个短信程序的内、外部结构梳理出来后，即可开始实际的用例设计了。

3）.测试用例/检查点设计
用例设计，根据其应用的范围，可以设计为标准测试用例，测试规程、测试检查点。这取决于设计用例的目的，即设计出的用例将用于什么样的测试，由什么样的测试员执行，需要记录什么样的测试结果。建议学习前期都设计标准的测试用例，不要觉得这样很麻烦，测试技能的提升是靠反复、单调的工作积累的。
用例设计过程中，按照第2点的结构图设计出的用例，均是功能测试用例。如有非功能测试的需求，则还需手动增加其他类型的用例。可以参考问题2的测试类型。

4）.测试过程和结果记录
通常，80%的缺陷都不是用例发现的。所以，并不是按照用例测试过的测试对象就是完美的，安全的。用例测试只是对测试目标做一个基础标准的质量评估，并引导测试员在测试过程中，根据用例拓展出新的测试点，并发现新的缺陷。
比如，有些用例带有测试数据，在测试过程中，执行完该条用例后，可随机增加新的测试数据进行重复测试。又比如，有些用例带有复杂的前置环境，同样可以在测试过程中，稍微修改前置环境的配置，组合出新的测试点。
探索测试（自由测试）在很长一段时间内，都是测试执行的重点。

结果记录包括两部分：用例执行结果记录和缺陷记录。

5）.测试结果分析和测试过程改进
世界上不存在完美的测试过程，所以，不断改进测试过程是必不可缺的。而改进的方法来源于对测试结果的分析，若用例缺陷发现率，若此数值偏低，则需要分析之前设计的用例组是否存在瑕疵。若某个模块缺陷数较高，则考虑是否需要增加此模块的测试力度，比如设计粒度更小的用例组，详细检查该模块的各个组件的质量。

————————————————————
2.手机的系统测试类型包含哪几种？
答
总的来说，手机测试与传统测试一样，软件测试分为功能测试和非功能测试两大部分，再加上硬件测试，就构成了整机测试。
功能测试：
*版本验收测试
*版本功能测试（包括阿尔法测试和贝塔测试）
*回归测试
*探索测试（自由测试）

非功能测试：
*长周期测试
*响应时间测试
*电源管理测试
*内存测试
*多媒体质量测试（主要是声音、图像、图片、摄像品质）
*应用程序接口吞吐量测试
*耐力测试
*负载测试
*可靠性测试
（通常，根据不同的手机，可能还会增加“安装测试”和“安全测试”）

硬件测试：
*射频测试
*音频测试
*静电测试
*跌落测试
*粉尘测试
*按键测试
*特殊器件测试（如GPS）
……
（通常，在没有专业硬件测试时，可以采用模拟环境的方法弥补硬件测试内容，如，外场测试）

————————————————————
3.手机的测试与PC的测试有哪些不同？
答
这个问题应该追溯到嵌入式设备与PC，手持设备与PC的区别上。
1）.电源类型不同
嵌入式设备大都是有限电源，而PC往往是无限电源。所以，嵌入式的测试会更关注应用程序的功耗问题。假设一个只能待机半天的手机，它会有消费市场么？

2）.操作方式不同
目前，手机的操作方式主要以触屏和独特键盘为主。而PC则主要以标准键盘和鼠标为主（触屏技术在一些PC上开始推广，但还不是主要操作手段）。
两者操作方式的差异性，导致其设计的应用程序的空间布局不同。
所以，输入方式的不同，导致某些应用层序的用例组存在差异。如，回车键测试，在手机测试中，它只存在于全键盘手机中，而且在手机中，回车键的功能的定义范围比PC略小，比如在手机的一些应用程序中，回车键很可能就是无效键。

3）.硬件体积和性能不同
当前，软件性能还是受硬件牵制，所以，小体积硬件的性能显然次于大体积硬件。所以，手机测试的性能指标往往低于PC。
另外，目前由于手机开始引入大功率CPU，发热问题会逐渐成为新的焦点。

4）.测试关注重点不同
追根溯底，手机始终是通讯产品，所以，通讯功能始终是手机产品的第一优先级应用。它的测试关注点是由通讯功能为中心，再向其他功能应用发散的。而PC，或者是PDA，它们都是针对功能应用的产品。
基础功能应用是决定测试策略的主要因素之一。比如，任意手机终端的应用程序测试，在进行交互测试时，与通讯模块的交互始终是放在第一位的；而对PC某应用程序的交互测试，则不存在规则。

——————————————————
4.如何提高自己的手机测试水平？
答
手机测试与传统测试的学习一样，做到“3多”即可：多看、多想、多做
————————————————————
PS:手机整机测试内容比较多，短时间内很难针对整机做一个完善的测试，建议选择选择一个功能模块设计完整的测试，其学习效果会好于凌乱的整机测试。整个学习过程围绕“如何测试”~“如何优化”进行即可。

Jackc

回复 17# timzou

"我想知道怎么做手机客户端软件的性能测试？？比如用loadrunner怎么做？"
答
目前，手机测试的性能测试大多需要自己研发对应的工具。而手机测试对应的性能测试也较为广泛，LR提供的性能测试内容还不能满足手机测试（而且，LR并不能很好的支持手机性能测试）

若简化工具的开发和使用难度，可以从以下几点入手：

*长周期测试
较长周期内，对某个应用功能的持续测试。（可能需要研究一个“可定义/编辑手机操作或命令”的工具）

*响应时间测试
应用程序启动/关闭/运行的时间测试。（可借助录像设备）

*电源管理测试
供电电源各个电量状态的测试（可借助数据电源）

*存储器测试
内存、闪存、硬盘、存储卡的测试（最好研究一个存储空间实时监控工具）

*多媒体质量测试（主要是声音、图像、图片、摄像品质）
多媒体各个性能指标的测试（最好研究一个较为专业的多媒体文件分析工具，也可用对比法代替）

*耐力测试
应用程序反复操作测试（可能需要研究一个“可定义/编辑手机操作或命令”的工具）

*负载测试
应用程序极限状态测试（可事先准备测试数据环境）

*可靠性测试
应用程序的容错、恢复测试（若需测试接口，则可能需要自定义工具）

Jackc

回复 82# amyliu2009

对MTK平台，短信测试您是从哪几个方面进行考虑的？包括测试用例的编写。
答
1.功能测试部分，可以参考104#的第1个问题。不断分类测试组件，整理测试目标结构，贯穿于整个功能测试设计过程中。
由于MTK手机短信功能分为短消息、彩信、语音信箱、小区广播4个部分，故大可把它们作为测试的4个基本点，逐一设计用例。
以其中的短信为例，它又包括写短信、收件箱、发件箱、草稿箱、常用短语、短信设置6个组件， 分析6个组件，得到：
写短信= 编辑短信 + 消息发送
收件箱= 消息列表 + 消息阅读 + 写短信
发件箱= 消息列表 + 消息阅读1 + 写短信
草稿箱= 消息列表1 + 消息阅读2 + 写短信
常用短语= 消息列表 + 写短信
短信设置= 模式设置 + 状态设置 + 容量查询
故，实际上需要设计用例的应用组件有9个：消息列表、消息列表1、消息阅读、消息阅读1、消息阅读2、编辑短信、消息发送模式设置、状态设置、容量查询
（编辑短信其实还可以细分，需要自己评价是否有必要）
所以，针对以上的9个应用组件逐个设计用例，就得到了短信的基础功能用例。

然后再分析短信模块外部接口，如被电话本调用、被通话记录调用等等，组成短信外部接口用例组。

2.非功能部分，可参考104#问题2中的非功能类型分类。而针对MTK平台测试，有两个建议
1）在针对耐力、负载等测试时，可使用QTP（或鼠标精灵）+phone suite
2）响应测试不是MTK的必测项，通常研发人员并不能提高这部分性能，可减弱这方面的测试，比如只使用目测。

3.用例组的重新排列
用例设计完以后，并不是按部就班得使用，通常需要根据使用目的进行重新排列和组合。
如，步骤1中设计的功能用例组，需要从9个基础应用组件中，分别抽取至少1个作为“版本验收测试用例组”；分别抽取2~3个作为“版本回归测试用例组”。
比如，编辑短信组件，由于是全字符类型编辑框+特殊应用，所以可能设计的用例比较多，如，数字短信、字母短信、EMS等
则可以从中选择字母短信用例放到版本验收测试用例组，而将数字短信和EMS短信放到版本回归测试用例组。

Jackc

回复 18# rongronger

我想问下，做web测试，除了考虑基本的功能测试外，对于一些异常测试从哪些方面去考虑，或者有哪些测试手段？
答
其实这个问题不好回答，因为不同的web测试对象都存在差异，比如是否有Proxy,是否需要密匙等等。而这些差异都会导致不同的异常测试组合。

不过总的来说，除了特殊业务外（特殊业务即应用程序开发需求），大多的WEB异常测试都能从协议中找到。
简单来说，当某组web异常测试用例满足所有的4xx、5xx、6xx后，它就基本满足了对web异常的覆盖
比如：
400 Bad Reques测试，则可以准备一条没有Call-ID头文件的消息
401 Unauthorized测试，则可以准备一条没有被USA和注册服务器认证的请求数据
……

Jackc

回复 20# sunny小熙
Jackc 你好，我负责数码相机整机测试，跟手机整机应该有很多相似处。我们目前主要是黑盒测试，我自己一直寻找一种可以自动化测试相机各种性能的工具，因为我们公司目前基本上停留在手动测试阶段，尝试过一些简单的自动测试，但效果都不好，因为不能自动记录测试过程中发生的异常状况。
请问您有什么好建议，或者您了解熟悉那些自动化测试工具可以用于数码产品的呢？

答
数码产品和大多嵌入式产品一样，其自动化率与自身的平台息息相关。纵观自动化测试带来的收益，在长周期和耐力测试中，它有手工测试不可比拟的优势。
由于不熟悉你们的平台，我很难给出合适的自动化测试工具，若你们对自动化工具开发有兴趣，我们可以进一步讨论。

抛开自动化工具开发这块，针对你们现有的条件，有两点建议：
1.减弱自动化测试结果的期望值
比如，启动的耐力测试，验证2000次启动/关闭（假设你们已经实现启动/关闭自动化）
原始的期望值：每次启动/关闭均正常
修改后的期望值：启动/关闭2000次后，依然能正常启动/关闭

2.尽可能的使用身边的资源
还是以2000次的启动耐力测试为例
可以在被测产品后方再放置一台摄像机，记录下整个测试过程。然后将测试录像放到电脑上，使用10倍速度观看。这样本身10小时的测试过程，只需要搭1小时（搭建环境）+1小时（查看结果）=2小时 完成

PS：测试理论是死的，测试方法是活的，测试工具也不应该只固守于“软件工具”上。

applejuzi

终于看到真面目了，顶一下，我的问题如下：
第一、现在公司管理比较混乱，比如有a,b,c3个项目，这3个项目都是同一个平台，功能也差不多，只有个别模块不同，且都是同一个客户，a,b,c项目的开发都是同一批人，但测试却不是，且这a,b,c3个项目的Bug库都是独立的，现在公司人力紧张，但每个项目都要求做系统测试，只挑选case 优先级较高的的话都很难完成，但公司又不肯招人，系统测试走case是必须的，因为公司要求手机出货必须要走一轮系统case，像这种情况下如何完成任务呢？或者说怎么管理会比较好。
第二、现在做的项目是移动定制的，需要过CTA、CMCC等认证，有些问题需要在CMCC版本上解决，但在主干上又不解决...，或者说某些特定的版本需要去掉某个功能，但一些版本又不去掉，导致有些严重bug在某些版本上开发又忘了合入,搞的测试经常做一些重复性工作，像这样的情况又如何去管理，让错误尽可能的降低。
请帮忙解答，谢谢。

sstic

1.请问作为一个测试部门的负责人，如何管理好测试部门？
2.如何留住有用的测试骨干人才？如何提高测试部门的绩效？

xiao08_25

回复 56# biandl

我想问问，你做的Android自动化测试，用到的是什么工具？我现在也是做Android平台的测试，就做过Monkey测试加手工测试。想学习下Android自动化测试，写写脚本。

hacker8866

想请教一下，你会自动化工具的使用吗?如LoadRunner。robot等工具的使用。

漾秋之水

Jackc你好，我现在所在团队有这么一个问题，在写测试用例的时候感觉就是在完成整个项目的一个任务，只是写，在测试的时候完全不会按照测试用例去做，而且感觉测试用例写的也是很有问题，我想问下有什么好的办法能解决这个问题？

Q_sunny520

请问老师：针对苹果和安卓手机的app的测试，它们之间有什么不同之处呢？

想你想的流鼻血

新手，学习一下

linda_zhang

真好啊！佩服

LAN8SUNNY

我也是测试新手，虽然会一些基本的功能测试，可是还是觉得远远不够啊 ...完全无从下手的感觉 ...各位前辈们帮我出出主意吧？谢谢了！

linda_zhang

我也是做手机测试的？可以聊聊啊？

阳光_测试

我也请教一个问题:
现在手机测试也是一个热门了，对于这种嵌入式通信终端的测试一般如何考虑呢？一般都从那些方面进行考虑，另外手机测试跟通常的软件测试有什么联系与不同呢？

ヤo幵始懂ㄋ

我也想问一下：我刚进行业不久怎么样才能设计出一个覆盖面很广的测试用例。