【你来问我来答第54期】：笑傲测试----测试对象的识别与分析（已结束）

lsekfe

论坛ID：Jackc（论坛版主）
真实姓名： 陈华阳
现任公司： 武汉明源股份有限公司
现任职位： 高级测试工程师
工作经验：
毕业后总是四处奔波，供职于ZTEàTelecaàFIHà Mysoft,。长期侵泡在手持终端的各类测试中，最近开始研究ERP测试。
擅长技术领域：手持终端测试、ERP测试(B/S)、测试管理

hlhong

你好！麻烦对ERP的测试给一些建议，谢谢

lsekfe

本期的专家测试经验很丰富，在移动终端和(B/S）、测试管理上有独特的见解，希望大家踊跃提问。

楠族开心果

哇，Jackc帅哥露面啦

赵佳乐SMILE

支持~~~

blackn72

对于终端安全测试、自动化测试、性能测试，有什么好的工具？

zm51testing

一直是用的手工来测试手机终端，请问前辈：需要提高手机终端的测试，应该主要学习哪些？

rose_flower0508

您好，前辈！现在测试发展的趋势，您觉得是移动端测试比较热一点，还是web测试比较热一点。本人是，这两个个测试都会一点，但是现在想选其中一个方面进行深度发展。还有，用您的感受说一下，你觉得web测试和移动端的测试最大区别在哪里，一开始接手这样两个项目时，你是如何做准备的。谢谢您！

zm51testing

前辈：您好！如果要在手机客户端发展，应该往哪些方面深入？是android代码还是mokeyrunner?

小余最近比较忙

你好，刚接手APP的测试，对于这块有些不明白的，请教下。
1.APP测试需要关注网络连接情况吗？即wifi和移动网络（2G/3G/4G）情况。
2.app的兼容性测试重点是什么？
求大大给些这方面的资料或推荐下这方面的书籍，谢谢。

Jackc

hlhong 发表于 2015-1-4 17:06
你好！麻烦对ERP的测试给一些建议，谢谢

额，其实根据实际问题，才能得到对症的建议。范范的问题，通常只能拿到模板式的答案。。。
传统的ERP系统以下方式分解：
1.   从测试方法的角度来看，可以分为以下7种测试目标类型：
      1.1 数据结构：
            表字段的创建和修改没有什么特殊的测试技能要求，按照需求设计文档查看数据库结构即可
      1.2 程序界面
            界面根据测试目标的不同属性，又可分为查询控件、视图、菜单、按钮…… 等，可将相同类型的测试目标提炼公用测试方法或用例(根据ERP框架对控件的设计，可以考虑在此切入灰盒和自动化测试)
     1.3 程序功能
           程序功能的分解因不同的设计而异，此部分的进一步分解只能根据实际情况来分析。
     1.4 场景流程
           ERP在流程场景中常会遇到2种情况：
           1.4.1 流程同一个分支存在较多的判断条件：单独分解每个判断条件包含的元素(通用的等价分解即可实现)，再将分析结果按判断条件之间的关系使用判定表或正交组合出场景清单
           1.4.2 存在多个循环嵌套的业务流程：将每个循环作为独立的分析对象，从内到外逐层分析。若存在复杂判断，参考1.4.1
     1.5 数据清洗
           以数据源为基准，以等价法独立分析每个数据源字段，再根据数据源之间的关联规则，使用正交或两两组合的方法整理数据源清单。(通常ERP报表/部件的数据源较复杂，故不建议使用判定表法，在整理数据源清单过程中，还可根据数据源特性进行分类，如包含多个独立存储过程的数据清洗，可以按照存储过程对数据源进行二次拆分)
     1.6 数据导数
           导数测试的数据分析并不难，比较麻烦的是需要将导数部分与ERP功能进行关联分析，理清哪些功能受导数影响，以框定测试范围。
     1.7 性能
           性能部分需要根据测试目标实体的瓶颈来具体分析

hlhong

Jackc 发表于 2015-1-6 10:50
额，其实根据实际问题，才能得到对症的建议。范范的问题，通常只能拿到模板式的答案。。。
传统的ERP系 ...

首先，非常感谢您的回复。追问：
1、“数据导数”是什么意思，ERP中什么地方会用到数据导数呢？
2、如果要实施自动化测试的话（包括功能测试和性能测试等），用什么工具比较合适

Jackc

blackn72 发表于 2015-1-5 08:44
对于终端安全测试、自动化测试、性能测试，有什么好的工具？

目前嵌入式测试的工具化没有像PC平台一样规模化(非垄断商业化的必然产物)，所以不存在通用的‘好工具’，而是根据OS进行选择。

就目前而言，在国内开展手持终端的自动化测试，仅仅适用于冒烟测试，而功能和性能的自动化测试，收益不大，仍处于撑门面的东东
（目前手持终端系统各个里程碑版本间的API均可能存在较大差异,甚至经常在国内是无法获取到测试所需的API(目前国内大部分手机企业还处于第三方APP开发的地位，很难获取到OS生产商的全力支持)，导致测试环境搭建与维护均存在瓶颈)

环境搭建：建议使用linux搭建测试服务器环境
*IOS(10.7以上)
  instrument、Appium
*Android(4.2以上)
  Appium、Robotium*Symbian(S60以上)
  TTCN：根据AT指令集为基础开发的测试API，适用于接口与集成测试
  ASTE：根据控件API开发的UI自动化测试工具，适用于功能测试  
*MTK
  暂无(可以自己调AT指令集开发monkey tools)

备注：
1. 关于脚本语言的学习选择，如果有明确目标，根据工具要求学习对应语言即可；若无目标，建议学习轻量级的脚本语言，如Ruby
2. 其实目前IOS/Android 的功能自动化测试工具的原理均大同小异，均是基于OS控件，调用已有服务或程序代码桩，实现UI录入与检查
3. 安全测试工具目前没有开源，这部分需根据调用的协议的加密规则，设计测试桩，并通过抓包后反编/解码的方式来自行开发测试工具
4. 至于性能测试，不太明白预期期望是什么。如果是功耗，可考虑将OS自带的系统监控工具信息logs出来，或者通过电流监测来实现；如果是UI反应速度，则可以考虑设计测试桩或使用其他仪器(高速摄像机)实现

Jackc

zm51testing 发表于 2015-1-5 09:03
一直是用的手工来测试手机终端，请问前辈：需要提高手机终端的测试，应该主要学习哪些？

其实我不能很好的回答你的问题，原因是目前你能学到的技能，和你所在的客观环境（公司）存在密切的关系，很难在一家公司里，能将测试域的所有技能都学全，但是你可以根据公司的特点，专精某些测试技能。
-------------------------
测试域的技能大致分为5个方面：
1.业务知识：适用于测试目标的业务背景知识域
2.测试方法：目标分析(需求、测试实体)、测试设计(策略、用例)、测试实例化（环境部署、执行）
3.测试控制：测试标准(入/出口)&流程、质量评估(监控、总结、评估)、测试里程碑管理、人力资源管理
4.流程控制：项目开发标准&流程、项目里程碑管理
5.开发技能：开发模式、代码/脚本编写、测试工具原理
-----------------------
针对于手持终端而言，区别在于对手持终端特有的业务背景与测试方法学习的深度。
1. 手机整机测试(目前国内只有少数生产商，地域受限于珠江三角洲一带)
    可以参考之前的一些建议12#：http://bbs.51testing.com/forum.php?mod=viewthread&tid=440341&page=5&authorid=242574
    简单来说，如果你正处于一家手机生产商企业，在2年内，则大可将你所有闲余时间都投到手机的各个生产阶段中，了解整机研发的2条主线：   
    1.1  芯片-->硬件-->驱动-->组装
    1.2  芯片-->系统-->程序-->驱动
    主线中各个测试目标的可测性及测试方法，至少达到了解的程度。再根据个人对自己的职位目标，选择学习重点。
2. 第三方APP测试
    功能手工层面的学习不再累述，主要谈几点额外的东东：
    2.1 工具化：‘测试人员开发测试工具，开发人员使用工具，简单功能测试外包’的趋势逐渐浮出水面，如果期望能在测试域的技术上有竞争力，工具化技能是必修课。但是手持终端的工具化还不成熟，不建议像PC测试一样，依靠某1~2个工具的使用端上‘铁饭碗’。学习重点关注于‘工具原理’，在学习使用工具过程中，并不是为了更熟练使用工具而学习，而是为了后期切换‘测试工具开发’作基础准备。在这个学习过程中，将会了解各种协议标准、AT指令等
   2.2 测试/项目控制：随着‘敏捷化’流程被越来越多的公司青睐，各种流程标准，质量标准再也不像CMMI年代那么清晰。如果没有理解过‘何为标准流程’，很难在今后的质量评估中有所建树。所以，即使现在用着轻量化流程，但也需要学习重型流程，了解重型-->轻型的过程，才能为各类‘敏捷’问题指明方向。
  2.3  编码：这一点不想多说，如果期望在今后激烈的测试竞争中保留最基础的竞争力，多花点时间在编码上吧。不是说要精通多少门语言，只需要熟练1种语言即可。

学习技能的基础原则：学习过程中自己觉得难的、花费时间长的，往往才是核心竞争力的技能。短时间速成的技能，只能是上岗技能，根本不具有竞争力，因为那玩意任何人都会。

Jackc

rose_flower0508 发表于 2015-1-5 11:18
您好，前辈！现在测试发展的趋势，您觉得是移动端测试比较热一点，还是web测试比较热一点。本人是，这两个 ...

其实Web或Mobile都不是择业的第一优先级条件。
首先，择业选择的是‘公司’，可谓是‘老板指哪里，我就在哪里’。优秀可持续发展的公司，不管它是做Web还是Mobile，都是最优先选择的对象，而该公司对应的业务，自然也是你学习的方向。
其次，如果没有心仪的公司，建议以Web为主，原因有二：
1. Web的测试技能基本可以通用，测试方法相对于终端测试会少一些
2. 国内基本没有手持终端的核心技术(就算有，也离国际水准较远，卖卖第三世界国家还可以。。)，行业主导力不强，导致需要经常学习完全不同的业务背景（其实就是职业竞争力欠佳)
------------------------
至于Web与Mobile的测试根本区别
从手机测试 ---> B/S测试，测试基础方法没有差异。我只是将自己放在测试新人角度，将已掌握的测试方法套用到新的业务背景上去而已。
1. 学习测试目标的业务背景，并按照自己能理解的方式作分类(整个过程大约5个月左右)
2. 将测试目标重新分析，并将测试目标通过基础的测试方法进行实例化 (一般情况下， 如果只做单个业务背景的测试，是不需要完全重新分析测试目标的，只需要分析差异点而已)
3. 分析测试结果，识别薄弱的业务背景并补齐。(大约2个月左右)
4. 学习系统结构，数据结构，作手接口/工具化测试

小结：整个过程中，我的目标很单一：‘将测试实例化为可执行，可检测的实体’。实际操作过程，缺什么就补什么。

rose_flower0508

Jackc 发表于 2015-1-6 17:36
其实Web或Mobile都不是择业的第一优先级条件。
首先，择业选择的是‘公司’，可谓是‘老板指哪里，我就 ...

谢谢 Jack

Jackc

小余最近比较忙 发表于 2015-1-5 17:43
你好，刚接手APP的测试，对于这块有些不明白的，请教下。
1.APP测试需要关注网络连接情况吗？即wifi和移动 ...

1.APP测试需要关注网络连接情况吗？即wifi和移动网络（2G/3G/4G）情况。
   需要关注，但仅仅是关注是否能够使用多种协议连接，而连接的性能不在普通第三方APP关注范围内。
   APP网络兼容的测试范围取决于终端支持何种协议，其实可以在APP的系统兼容测试中覆盖，无需独立测试。
   举个例子，开发第三方IM类型的APP，要求支持WM6.5+/ Android 4.3+/ IOS10.7+等OS，在系统测试中，先根据OS选择测试实体机，再根据不同OS支持的协议类型，以及不同OS封装协议后遗留的接口确定测试对象范围。（并不是每个协议都预留了接口，有时候会将多个协议打包封装接口，比如将TCP/UDP 打包封装后，提供一个外部接口供第三方APP调用。）
   我们在实际测试中，只需要确保APP能调用OS提供的协议模块接口即可，至于被封装协议本身功能，则不在测试范围内。

2.app的兼容性测试重点是什么？
   APP兼容性的优先级排序：OS类型-->生厂商品牌-->系统版本(品牌版本)--->产品型号--->显示屏规格
    根据测试资源的多寡，对优先级排序中的分支进行覆盖，不需要追求覆盖所有分支，最低保证1,2级根节点被覆盖完全即可。

求大大给些这方面的资料或推荐下这方面的书籍，谢谢。
    嵌入式测试的书籍上面我帮不上忙，我自己的理论和经验大多都是从各个公司自身的资料获取提炼的。。。。

Jackc

hlhong 发表于 2015-1-6 15:31
首先，非常感谢您的回复。追问：
1、“数据导数”是什么意思，ERP中什么地方会用到数据导数呢？
2、如 ...

1、“数据导数”是什么意思，ERP中什么地方会用到数据导数呢？
      导数类需求多出现版本升级/个性化底层开发需求中。当需求涉及基础数据结构调整，则可能会出现。
      如，客户部分原始数据存在表table_project 中，客户买了新版本的系统，而新版本系统中，该部分数据已被调整存储到table_N_projct中，且两表之间的数据结构存在部分差异。故我们需要将table_project 的客户数据导入table_N_projct表中，并需要根据新表的数据结构，调整原始客户数据的部分字段。
      这类需求则是‘数据导数’。

2、如果要实施自动化测试的话（包括功能测试和性能测试等），用什么工具比较合适
      自动化测试工具选择，优先考虑目前已规模化的QTP和LR。
      如果因为本身ERP特性（如使用的框架较为久远）无法使用规模化的功能测试工具，则可以考虑使用selenium为核心自行开发UI测试工具(开发和维护成本较高)

Miss_love

你好、1、针对B/S架构测试，如何对session和cookies进行测试？

心晴~~

大神，我想请教一下如何写erp的测试用例，我现在也是在测试自己公司用的erp，但由于平常测试偏向于组装测试（看程序是否按设计的流程运行）和确认测试（利用各种类型的数据测试系统的健壮性），所以我平常都是按流程和相应的数据来测试的，都没有写测试用例，求教大神指点。ps：最好能给出几个关于ERP的测试用例的例子。