51Testing软件测试论坛

标题: 【你来问我来答第80期】:产品时代如何更有效的把好质量关?(活动已结束) [打印本页]

作者: lsekfe    时间: 2017-4-1 10:44
标题: 【你来问我来答第80期】:产品时代如何更有效的把好质量关?(活动已结束)
[attach]105309[/attach]
论坛ID:wuyingmin
真实姓名: 吴颖敏
现任公司: 上海上马石(HiCTO)
现任职位: 技术合伙人
工作经验: 在产品质量这个行业走了10年,深入实践过金融,游戏,移动等多个行业,覆盖安全,测试开发,测试架构及质量流程多个方向。 先后工作于 IBM,腾讯, 大众点评, Glow。 全栈测试的推行者。
嘉宾留言:问题比较开放,工具,玩法,组织架构,个人成长等各个方面欢迎交流

各位会员可以在4.11日前以回帖的方式向客座专家提问。

(请大家围绕本期客座专家的擅长领域进行提问、探讨)

客座专家将在4月11日—4月30日为大家集中解答。

机会难得,欢迎大家踊跃提问!



作者: 一抹红尘    时间: 2017-4-5 17:29
1、如何把控质量
2、如何预防质量风险以及解决方法
3、怎样评估测试覆盖
4、产品上线出现bug,如何快速应对
5、提升测试效率方法
作者: 黑盒测试    时间: 2017-4-5 18:02
1、接口测试在整个过程中的重要性
2、UI自动化在整个过程中的重要性
3、后端测试应着重那些方面的测试
作者: 江湖小虾    时间: 2017-4-6 10:12
线上环境和测试环境不一致,如何开展自动化/性能测试,如何把握产品交付质量?
作者: bingdian887521    时间: 2017-4-6 12:43
你好,有几个问题想探讨下
1、工作过几家公司,都是接触到大部分功能测试,小部分自动化,如何在测试开发这条路上越走越远呢?
2、没有实际真正的完全做过白盒的,公司都不要的,这现状要如何改变

作者: king860921    时间: 2017-4-6 14:56
楼主,您好!
      对于软件测试这个行业,我工作已经有8年,先后在三家公司待过,一直做的是手动功能测试,重复性的工作比较多,其它都没有接触过,现在有点迷茫,自我感觉这样下去不行,早晚被淘汰,但又不知道该如果在测试这条路上走的更远?
      能否给些建议,谢谢!
作者: wuyingmin    时间: 2017-4-6 15:18
一抹红尘 发表于 2017-4-5 17:29
1、如何把控质量
2、如何预防质量风险以及解决方法
3、怎样评估测试覆盖

Answer 1&2: 质量把控的关键也是在数据分析。分为四个维度,开发前,开发中,测试,上线后。
开发前 - 对业务架构及技术架构理解清楚,知道坑点,评估影响及开发难点
开发中 - 对日build产物进行追踪测试,时间风险的评估
测试 - 接口的回归测试,版本的功能及兼容性测试,统计点测试等等
上线后 - 追踪客户端漏测率(崩溃率), 线上server报警率(与ops配合),线上故障响应恢复时间
注: 不同组织架构的团队对质量的定义不完全相同,需要找到和组织架构相适应的方法
Answer 3: 测试覆盖率-主动型 接口测试覆盖率,code review覆盖率,被动性 线上漏测率
Answer 4: 有效的第一时间知道bug,之前提到的上线之后的跟踪(客户端,server端报警通知)
Answer 5: 提升测试效率的方法三个方面在劳动力密集型团队多分享测试案例及测试方法,技术密集型团队让工具辅助团队更有效,混合型团队在推行分享的同时引入合适的工具提升团队效率

作者: wuyingmin    时间: 2017-4-6 15:26
黑盒测试 发表于 2017-4-5 18:02
1、接口测试在整个过程中的重要性
2、UI自动化在整个过程中的重要性
3、后端测试应着重那些方面的测试

Answer 1: 接口测试对于整个过程比较关键,是回归测试,持续集成快速发布的基础。有效性在于场景覆盖率要高,容错的case要全
Answer 2: UI自动化测试在过程中不是特别的重要。可以将更多的时间放在建立更好的监控及故障恢复机制上。
Answer 3: 后端测试在对架构设计理解的情况下最好直接进行code review,这样对业务及开发的盲区有比较好的理解。另外数据库数据兼容性测试,升级测试,数据库及服务器的容量基准测试等等都是需要考虑的点。
作者: huiyiditou    时间: 2017-4-6 16:53
安全测试上,目前有很多公司虽说有做安全,但其实大部分都是用工具扫下,对这部分的测试有没有更好的建议呢,听说做这一块测试,一定要有非常好的开发功底才行
作者: huiyiditou    时间: 2017-4-6 16:56
针对测试这一行业,如何才能发展出自己的副业呢,作为工作了10年的老前辈,是否有在之前的工作之余有过其他副业使自己的财富更自由
作者: 1039196210    时间: 2017-4-7 23:15
1.如何理解全栈测试
2.自动化测试合适介入时机最好
3.怎样识别风险和预防
作者: wuyingmin    时间: 2017-4-10 10:08
bingdian887521 发表于 2017-4-6 12:43
你好,有几个问题想探讨下
1、工作过几家公司,都是接触到大部分功能测试,小部分自动化,如何在测试开发 ...

Answer 1: 测试开发的路个人觉得首先要理解现公司的业务及技术框架。然后对症下药做出或者引入能提高效率的工具,测试能覆盖的点要有个统筹的规划,code review,持续集成,线上监控其实有很多可以做,不要局限在测试这个点,提高整体质量才是关键

Answer 2: 白盒测试的目的也在于发现问题,对于没有富余人力的公司何种方式最有效就用哪种方式。当渐渐流程清晰并有富余人力时再通过技术分享提高整体团队的战斗力,然后再谈技术测试。当然现在比较多的是偏灰盒的测试,所以选择适合公司并能有效的提高效率的就是比较好的测试方法。
作者: wuyingmin    时间: 2017-4-10 10:16
江湖小虾 发表于 2017-4-6 10:12
线上环境和测试环境不一致,如何开展自动化/性能测试,如何把握产品交付质量?

线上和测试环境可能存在的不统一

数据不统一,硬件配置不统一,第三方配置不统一等等。
数据不统一可以过滤敏感数据然后导入部分线上数据
硬件不统一这个根据实际情况。可以切换线上的某台服务器做灰度及线上测试
第三方配置不统一,这个可以通过脚本工具扫描进行核准

然后对于问题
自动化测试要看是不是针对数据的测试,针对流程的接口测试等不存在太多问题。数据准确性的问题需要单独过一遍。
性能测试可以用测试环境的机器做容量估算,如果是阿里云就开和线上一样的限时限量服务器进行压测
作者: CSCS1    时间: 2017-4-11 20:54
您好, 之前有做过功能测试,UI,接口这些工作,现在做的测试开发工作,但基本开发的工具与公司业务产品没有多大关系,主要用于提高测试效率的.请教下,你如何理解测试开发的岗位以及职业规划的建议 ?谢谢了
作者: wuyingmin    时间: 2017-4-12 19:04
king860921 发表于 2017-4-6 14:56
楼主,您好!
      对于软件测试这个行业,我工作已经有8年,先后在三家公司待过,一直做的是手动功能测 ...

测试的范围很广,并不是说我做功能测试就不需要我做其他。工作是雇佣关系,但是前途是自己的。很多同学也会有这样的疑惑。但是解决这问题的关键在于1.打怪升级的方法,2.自我驱动 缺一不可。

1. 打怪升级的方法相信现阶段最不缺,各种资料都有,可以做自动化,可以做监控及统计预警等。
2. 自我驱动,这是最缺的。 建议制定好一个小目标,在工作中实践提高功能测试的效率,用工具用其他方法都可以。然后再继续,一年完成12个小目标你就会清晰很多
作者: wuyingmin    时间: 2017-4-12 19:10
huiyiditou 发表于 2017-4-6 16:53
安全测试上,目前有很多公司虽说有做安全,但其实大部分都是用工具扫下,对这部分的测试有没有更好的建议呢 ...

很多安全测试扫描的工具是防范基础的攻击。正常的攻击大部分来自你逻辑代码或者第三方库的使用上面。
最好有一定的开发基础,这样可以知道可能存在的问题。
首先是业务流程,这块是最容易出安全事故的,将业务流程搞清楚,知道刷或者可能被hack的点,这个需要经验。
其次数据安全,这个是整个开发流程来掌控的,权限控制及数据加密隔离等
然后是第三方接入的问题,很多开发同学对着demo来做接入,所以很多安全问题也会来源于签名的本地化,配置本地化等问题。
所以安全是个整体的事情,是站在对立面来想事情的。
作者: wuyingmin    时间: 2017-4-12 19:19
huiyiditou 发表于 2017-4-6 16:56
针对测试这一行业,如何才能发展出自己的副业呢,作为工作了10年的老前辈,是否有在之前的工作之余有过其他 ...

副业,这块更多的是如何能帮助测试行业创新,如何能带些产品质量一般的公司慢慢走正路。
副业首先要有时间,然后需要target。target是赚钱的话我觉得格局一定很低,所以将行业风气带好,将创新带入行业是比较好的行为
作者: wuyingmin    时间: 2017-4-12 19:33
1039196210 发表于 2017-4-7 23:15
1.如何理解全栈测试
2.自动化测试合适介入时机最好
3.怎样识别风险和预防

1. 全栈测试 更多的是融入到整个业务及开发流程,所谓全栈开发不仅仅指我会客户端我会服务端,更重要的是会整个开发流程,我知道产品怎么设计,开发怎么做,测试怎么做,运维怎么做,所以全栈测试其实也类似,开发部分可以稍微弱化些,但对于整体业务架构,技术架构和运维架构要非常熟悉。
2. 自动化测试用于提高效率,在人力存在瓶颈但是自动化能提高产能的时候引入(普通功能测试团队为主)。
3. 风险识别和预防的话题很大。。。但是有一点,对业务架构,技术架构包括线上架构要足够了解一定不会错的。
作者: wuyingmin    时间: 2017-4-13 17:54
CSCS1 发表于 2017-4-11 20:54
您好, 之前有做过功能测试,UI,接口这些工作,现在做的测试开发工作,但基本开发的工具与公司业务产品没有多 ...

测试开发的工具如果都是提高测试效率的,那也是大功一件啊
测试开发的话其实能做的东西蛮多的。比如提高测试效率,然后提高流程效率(持续集成),改善整体开发效率。
以数据说话,离开了数据对比就不存在提高效率。所以光提高效率就是一个方面。
还有线上质量方面,遇到很多公司制定kpi或者okr都是拍脑袋的,线上质量那么差缺不知道如何度量,所以建设线上质量监督平台也是一个方向
DevOps也是方向,测试开发很多时候会涉及,所以也是可以深入的。

测试开发同学的职业规划可以是测试架构师,测试经理
不过测试开发同学也要多了解业务或者流程,脱离公司产品业务或流程的测试开发成长都有局限性的
作者: king860921    时间: 2017-4-14 09:14
wuyingmin 发表于 2017-4-12 19:04
测试的范围很广,并不是说我做功能测试就不需要我做其他。工作是雇佣关系,但是前途是自己的。很多同学也 ...

谢谢解惑
作者: 丿丶灬sao    时间: 2017-4-19 14:18
刚在一家小公司做功能测试,之后的发展有什么比较好的建议。

作者: VERCHY    时间: 2017-4-19 15:36
你好,我想问两个问题
1、测试开发主要是做什么?如果熟悉了一门语言,应该具体怎么做?请问有好的书或者资料推荐么?
2、如果会一点点Java,一点点py,想熟悉一门语言,请问精哪门语言比较好,可以给点建议么?
作者: VERCHY    时间: 2017-4-19 15:45
你好,想请教几个问题:
1、测试开发岗位工作主要是做哪块?
2、熟悉一门语言后,请问具体应该怎么做?
3、可以推荐一些测试开发的书或者资料么?
4、会一点点Java,一点点py,想精一门语言,请问Java好一点还是python好一些?
5、软件测试职业规划大师可以给点建议么?
作者: wuyingmin    时间: 2017-4-20 14:01
丿丶灬sao 发表于 2017-4-19 14:18
刚在一家小公司做功能测试,之后的发展有什么比较好的建议。

做功能测试或者测试开发需要掌握的是自我成长的方法。
建议每个月定个指标多看书,多积累。重要的是学习的方法。
作者: 清和    时间: 2017-4-20 15:47
优如楼主帖子的标题一样,“如何有效的把关好产品的质量?” 最近在写一季度的产品发布总结,在评价产品质量的同时该如何把这数值量化出现,比如如何评估测试用例的覆盖度?
作者: wuyingmin    时间: 2017-4-21 14:48
VERCHY 发表于 2017-4-19 15:45
你好,想请教几个问题:
1、测试开发岗位工作主要是做哪块?
2、熟悉一门语言后,请问具体应该怎么做?

Answer1: 测试开发岗位主要是为协助质量部门利用开发手段提高部门开发和测试效率的工种
Answer2: 熟悉-应用-原理-触类旁通
Answer3: 测试开发我不怎么推荐书,我觉得先将公司业务架构技术架构了解清楚就是一本非常不错的书😄,对症下药嘛
Answer4: 😄,这种问题不怎么好回答,语言差别会有,精哪一门都可以,从教材等少走弯路的角度,java是比较好的选择
Answer5: 职业规划是分阶段的,再分时间的,25-30,30-35,35+ 每个阶段都不同。先每年制定一个小目标来达成,质量的范围比较宽泛,开发质量,测试质量,线上质量,监控等都是可以发展的方向
作者: wuyingmin    时间: 2017-4-21 14:54
清和 发表于 2017-4-20 15:47
优如楼主帖子的标题一样,“如何有效的把关好产品的质量?” 最近在写一季度的产品发布总结,在评价产品质 ...

我觉得用例覆盖度这个指标是工程的指标,不是产品的指标。覆盖度高和低本质上和产品质量的曲线不一定成正比。所以我觉得对于质量量化分阶段,开发质量,测试质量,线上质量。
开发质量的数据标准为代码规范,代码提交质量等数据
测试质量只有两个。1.服务端和客户端的漏测率,2.性能容量规划的基准
线上质量主要关注故障恢复时间,高优先级线上bug反馈时间
作者: 清和    时间: 2017-4-21 15:12
wuyingmin 发表于 2017-4-21 14:54
我觉得用例覆盖度这个指标是工程的指标,不是产品的指标。覆盖度高和低本质上和产品质量的曲线不一定成正 ...

根据什么数据来统计来漏测率呢?




欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2