【你来问我来答第54期】：笑傲测试----测试对象的识别与分析（已结束）

lsekfe

论坛ID：Jackc（论坛版主）
真实姓名： 陈华阳
现任公司： 武汉明源股份有限公司
现任职位： 高级测试工程师
工作经验：
毕业后总是四处奔波，供职于ZTEàTelecaàFIHà Mysoft,。长期侵泡在手持终端的各类测试中，最近开始研究ERP测试。
擅长技术领域：手持终端测试、ERP测试(B/S)、测试管理

hlhong

你好！麻烦对ERP的测试给一些建议，谢谢

海里的幸福

我很喜欢,太精彩了

a544529651

我悄悄地来，我悄悄地走

applejuzi

顶一下，好久没上论坛了

小脚丫的追求

Jackc 发表于 2015-1-29 16:40
就目前来看，手持终端的黑盒手工测试依然是主要生产力。但还是可以根据公司客观环境融入部分其他的测试类 ...

好感动，抽出时间写了好多，努力学习中

thenicedawn

neijiangwlz 发表于 2015-1-30 13:39
开发然后转测试

我就是先打算做底层，然后走测试

neijiangwlz

thenicedawn 发表于 2015-1-29 19:36
恩 ，谢谢指教，，我打算先做开发然后转测试，，组长让我写一篇关于lr的分析，而且大多数测试对象是c/s结 ...

开发然后转测试

thenicedawn

Jackc 发表于 2015-1-29 17:51
LR 在C/S上基本能实现与B/S相同的效果，其核心优势是可完成压力测试。
但是在C/S环境配置上比较麻烦，这 ...

恩 ，谢谢指教，，我打算先做开发然后转测试，，组长让我写一篇关于lr的分析，而且大多数测试对象是c/s结构的，我在做测试前需要准备哪些东西？

Jackc

394819525 发表于 2015-1-29 13:58
公司开发了SDK计费，但是仅仅走计费流程不够的，想深入测试，开发建议按芯片不同的双卡双待来测，我不知道 ...

其实双卡双待提供的应该算是一种标准协议。又分为2类：
真双待：可同时支持2条GSM上下行
假双待：同时只能支持1条GSM上下行，待机时通过轮询保持双卡
------------------
你的这个问题应该问开发，严格意义上来说，芯片和双卡双待是两种的东西，没有可比性。
就像android和ios是两个系统，QQ和微信是两个APP。那在android上的QQ和IOS上的微信是什么关系呢?

------------------------
所以，问题的根源来源于开发这个建议在目的性上不明确，他到底是想做芯片兼容还是想做协议兼容？

-----------------------
个人认为，双卡双待如果是芯片支持，在SDK上开发完成，那么在APP上做协议兼容性测试的价值并不大。
而芯片兼容测试就和普通的手机兼容测试一样了，这个是需要做的。但通常我们看的OS版本，并不关注芯片版本。
如，芯片更新换代了，但是OS版本没有变，实际上在APP层是不需要做兼容测试了。那是驱动兼容测试的事情了。

Jackc

394819525 发表于 2015-1-28 16:00
学习monkeyrunner、CTS有什么好的书籍推荐吗？

额，这个好像没有推荐。
手机测试工具太多，我很少专门去看书学习某一类工具。
很早以前在学习QPT和LR时还稍微看了一些，但是之后用的手机的工具基本都没有专门看书。

在工具使用过程中，我通常只做3件事：
1. 搜索安装配置说明
2. 实际使用+F1
3. 疑难杂症遇到时再搜索
。。。。

Jackc

mokoko 发表于 2015-1-28 09:06
前辈能否推荐几款测手机耗电量及流量消耗的软件，谢谢！特别是IOS设备~

在做功耗这部分测试过程中，需要注意尽量不要使用需要root权限的工具。
1. IOS的耗电量可以直接用自带的Instruments监控CPU占用率来实现；android可使用System Tuner Pro(不root就可以监控CPU)
   不建议直接监控电量，电池容量本身就不是一种不稳定的东东
2. 流量没有现成的方式。不做二次开发的工具只能监控到单个APP的流量(这样的流量监控并不准确，也不便于定位)。各类手机管理软件，几乎都支持监控APP级别的流量。

Jackc

thenicedawn 发表于 2015-1-27 20:58
你好，老师  我初学测试，不是很理解loadrunner对c/s的意义多大？如果我分析用loadrunner测试winform应该从 ...

LR 在C/S上基本能实现与B/S相同的效果，其核心优势是可完成压力测试。
但是在C/S环境配置上比较麻烦，这个需要根据自身以及客观环境来判断是否选择LR。
你可以先试着用LR录制一下，看是否能成功。(按照目前的开发模式来说，要成功真心很难)

在LR中，录制/回放是LR自己通过VuGen的规则做自动关联，所以存在失败的情况。这种情况下，可以自己去关联。但是这样对测试人员的要求稍微高一些。

环境部署对测试人员的要求：
1. 熟悉测试对象中影响LR配置的属性参数，主要是测试对象使用的协议和数据库类型。
   （LR自带的自动关联功能并不能很好将自身的协议与client APP进行有效关联。所以经常出现录制和回报错。）
2. 熟悉LR脚本设计，并能进行调试和修改(较难，可能要3~6个月的学习时间)
3.会使用1,2种抓包工具，将消息转化为LR脚本(工具可以用wireshark,很简单，用2次就能上手了)

   

Jackc

小脚丫的追求 发表于 2015-1-26 16:25
大神，现在公司拓展app产品领域，总是觉得自己对于app的测试除了手工点点点，找不到别的更好的办法，效率不 ...

就目前来看，手持终端的黑盒手工测试依然是主要生产力。但还是可以根据公司客观环境融入部分其他的测试类型。以下简单描述一下各个测试类型和我个人的见解，你再根据实际情况来取舍。

先定义几个术语和一个公式，方便后面引用：(本帖的术语定义仅限于本帖，因为现在测试模型术语多而繁杂，很难找到唯一的国际化术语)
测试产出：测试活动对于项目/产品所产生的实际价值
测试资源：测试活动投入的资源，包括人以及客观环境。本帖中资源权重以人力资源为主。
测试产能：测试活动的价值比，衡量测试活动效率的系数

测试产能 = 测试产出/测试资源
-------------------------------------------------
以下测试类型以测试资源消耗升序排序：
1.静态测试
       静态测试主要以文档分析为主，在标准测试模型中，它涉及的文档涵盖了所有工程文档，但很少公司的测试人员能真正做到静态的全面测试。
       原因有三：一是测试人员的code技能等级普遍没有达标，经常连入门都达不到，又何以走查详细设计，代码片段？  
                       二是公司的文档过于敏捷化，甚至无流程。无文档又如何静态？
                       三是测试人员疲于测试执行，没有时间，或者是有时间，却没有方法，导致没有对测试执行结果进行总结，从而无法提炼出适合的静态测试对象。
       其实，在静态测试中，至少有2项仅依靠基础测试技能就可以完成：需求分析、测试报告分析
       需求分析：主要是分析功能设计是否满足需求的业务背景，降低项目中后期的设计变更风险。而测试人员在这个活动过程中，能够学习和巩固分析模型，慢慢将分析模型的基础方法锤炼为条件反射。
                       备注：1.经常会遇到有测试同事说，‘我们连需求文档都没有，如何做静态分析？’。其实这是一种误区，没有任何书籍以及人说过静态测试的对象只有‘文档’，只是‘文档’是最普通的对象。说白了，‘文档’只是个载体，如需求文档，其中‘需求’才是我们需要做静态分析的对象。所以即使需求不以‘文档’作为载体存在，它还是能以其他方式存在的。测试实例化的依据标准其实就是所谓的‘需求’。
                                2.需求分析过程中需要关注分析粒度，不建议进行过于细节的分析。保证分析结果可以支撑测试实例化即可。(非实例化细节（如IM 消息聊天需求，只需要分析出聊天界面各个元素大致的对应的测试方法，且这些测试方法可以在日后执行即可。)
                                3.通常情况下，需求分析过程可控制在项目整体的5%以内。
       测试报告分析：主要分析当前产品风险点，调整测试资源部署。同时也会对之前的测试产出进行评估，刷新测试策略和计划。测试报告分析的对象主要是测试执行结果(如用例执行结果)和bugs清单。测试人员在此活动中，可以明确找到自己的短期目标实体化，还可以更深入理解风险控制的尺度。
                       备注：1. 测试报告的分析方法和目的较多。建议以结果导向驱动，先明确分析目标，再考虑分析方法。
                                 2.测试报告分析过程的资源消耗并不太大，但是分析前的资源准备需要消耗不少的资源，且具有时间特性，无法在短时间内临时准备。故，在测试策略阶段，就需要知道需要收集和准备的测试报告数据，并在测试执行过程中记录下来。通常，我们已有用例和bugs清单，但它们可能不方便统计，故在项目前期会根据分析需要，调整数据存储格式或新增某些数据的记录。(如，一些开源的bugs系统由于自身bugs属性参数不足，不足以支撑bugs在某个分类汇总或干脆就不支持报表/图形查看，我们可以在前期设计一些统计的小工具，如EXCEL模板等。将bugs系统与小工具的统计结合在一起，以便于项目开发过程中的数据分析。)

2. 动态测试
    2.1 功能测试
          2.1.1 黑盒手工
                  作为最主流的测试类型，它上手很容易，真正做起来却不太容易。因为这部分测试的等价法使用率最高，甚至无处不在。但是每一次等价法的使用，都包含着测试泄露风险。所以黑盒手工测试属于入门极低，却无法达到极致的东东。
                  黑盒手工测试在执行上本身不具备太多的提高空间。它主要是作为提升测试分析和业务领域的辅助存在，所以，如果在之前未进行最基本的测试思路整理，拿到测试实体就一阵乱点或按部就班按照case执行，并不能对个人有多大提升。建议在测试之前，花费几分钟整理一下测试思路(将要做什么，按照什么模式来做)，然后再执行过程中比照之前的构思存在哪些不足，也可在测试执行结束后，再用几分钟完成一个小结。基本上1~2年内就可以将黑盒测试执行巩固到一个高度：即使需求细节不再完整，或者仅有少量的测试要点框架的情况下，依然可以达到80%以上的执行覆盖率。
        2.1.2 黑盒自动化
                嵌入式的黑盒自动化最近被炒的很热，但是针对于手机APP来说，它的测试产能和适用范围远不如黑盒手工。主要原因是目前大部分黑盒自动化基于UI，而自动化工具的UI控件化成为最大瓶颈，UI控件参数完整性较B/S结构的产品来说，还显得很单薄。所以能应用的范围也较小(如果期望达到如QTP对web的支持，在工具开发以及脚本维护上，手持终端产品要比web产品投入更多的资源)。
                但是也可以选择一些合适的工具来为我们做一些东东，比如完成迭代回归测试中的20%用例组。(不过相对于工具化在非黑盒和性能上的表现，UI的工具化显得比较渺小)
                备注：如果手机APP产品是一个巨型项目(2年以上)，则可以考虑将回归测试整体自动化。
        2.1.3 灰盒自动化
                主要是完成一些接口、协议、API调用的测试，这部分能够工具化就尽量工具化。有时可能无法完全工具化，但是只要是能做的，都会比在黑盒上测试性价比更高，甚至可以将部分性能测试也顺带做了（如，流量测试，如果将activities调用的协议以时间戳形式记录logs，并结合数据筛选或图形展示，则可以很轻易完成测试，甚至将测试标准传递给开发人员，由开发人员在提测前自行检查，更大程度的提高测试效率）

   2.2 非功能测试
                手持终端的APP非功能测试在国内的关注度较低(标准低)，但都多少会有涉及。普通APP会考虑功耗、内存，IM APP会考虑流量，播放器APP会考虑画质。其实此部分的测试分类，在手持终端侵泡了2,3后都基本了解或掌握。较难的部分只是如何制定测试标准以及如何将测试用例实例化，转化为可执行测试而已。
                在此前我见过一些奇葩的测试手段，如页面加载响应时间，测试人员没能开发出获取activities 开始/结束时间的工具，干脆就直接录像然后剪接来完成测试需求。
                故，在大多数请款下，非功能的测试的选择基于2个基准：测试产能、可实例化
                备注：在多个平台下，monkey tools 的测试产能都很不错。不管是使用开源工具还是自主研发，开发成本都不高，而测试执行阶段则只需要投入测试硬件即可(堪称测试资源投入最低的测试方法)。而它能为我们提供多种测试辅助：测试分析/用例泄露、负载测试、长周期测试、内存泄露测试等。(测试辅助是指测试执行效果未完整覆盖的某一类测试，仅为部分覆盖)

=======================
小结:
1. 测试方法的拓展来源于自身对测试目的（测试对象）的思考和认识，并结合客观环境，最终融合出测试产能较高的测试执行实体。也就达到了所谓的提升测试效率。
2. 实在找不到如何提升，可直接学习开发技能，日后对测试的认识达到一定程度，就可以将开发与测试技能融合，自然就会领悟到更高效率的测试方法。
3. 没有测试方法是不存在风险的，空闲时可以多思考已掌握的方法是否存在泄漏，哪些泄漏可以容忍，哪些不可以容忍，为什么？ 当你多得到一个为什么时，就对测试的认识更深一步。日积月累，量变自然可以产生质变。               

394819525

公司开发了SDK计费，但是仅仅走计费流程不够的，想深入测试，开发建议按芯片不同的双卡双待来测，我不知道这里跟芯片有什么关联，求指教

394819525

学习monkeyrunner、CTS有什么好的书籍推荐吗？

Jackc

wangyixiong 发表于 2015-1-24 10:15
jmeter 分布式测试登录接口，当请求成功后，可以读到参数，controller响应结果为空，这是为什么呢？？？
...

1.单独在controller上运行脚本，检查脚本本身是否存在问题(如2.9以下的版本对HTTP请求存在长度控制)
2.检查controller中的端口号是否被其他应用程序占用
3. 至于其他的原因很难在调试环境外进行分析（如浏览器代理服务器地址问题）。
理论上如果问题1能pass，按照分布环境部署的操作说明来做，是可以成功的。

mokoko

前辈能否推荐几款测手机耗电量及流量消耗的软件，谢谢！特别是IOS设备~

thenicedawn

你好，老师  我初学测试，不是很理解loadrunner对c/s的意义多大？如果我分析用loadrunner测试winform应该从哪些方面分析

小脚丫的追求

大神，现在公司拓展app产品领域，总是觉得自己对于app的测试除了手工点点点，找不到别的更好的办法，效率不高。对我目前的状态有没有比较可操作的方法来提高测试的含金量和效率呢

Jackc

cloudazure 发表于 2015-1-23 15:54
Jackc老师，你好，本人在银行业务做功能测试有4年之久，一直以来担任都是纯手工偏向业务的测试工程师角色。 ...

1、微网站的兼容性测试是否有必要，目前我没有找到好的解决办法来测试微网站的兼容性？2
     web兼容性目前主流是是在使用2种策略，但基本原理都是：最少的测试资源满足最大量的用户群
     1.1 根据用户实际使用的浏览器进行测试，甚至一些强势的产品生产商会限制用户使用浏览器的品牌和版本
     1.2 根据浏览器内核和排行，选择部分浏览器版本进行测试。每个内核选1~2种浏览器，每个浏览器选择1~2个版本。如果测试资源仍然不够，甚至会根据排行只选择1~2个主流内核的单个浏览器进行测试。

2、手机端的功能测试案例是否可以比较PC端的功能测试案例来编写？
     可以。在黑盒测试中，针对同一个功能，手机和PC的区别并不大。只是需要注意手机本身的特征用例加入到PC用例中，如中断、后台运行等。（手机特征用例是可以复用的，所以建议定期进行总结并提炼为手机的公共用例组）
     备注：注意有时候手持终端对功能有一些特殊需求，如图片下载，在PC端可能是直接下载，而在手机端则是先下载缩略图，然后再通过手动操作下载原图。

3、在性能方面，由于是在微信中植入网页，是否可以忽略不作为测试范围？
     性能测试还是需要的。响应时间需要在PC和手持终端考虑，而功耗、流量等性能指标需要在手持终端考虑。

wangyixiong

jmeter 分布式测试登录接口，当请求成功后，可以读到参数，controller响应结果为空，这是为什么呢？？？
（注：已排除端口占用，防火墙等问题）