自动化测试的结果度量?(2013.5.13)(获奖名单已公布)

lsekfe · 发表于 2013-3-18 13:10:16

本周的问题为“自动化测试的结果度量?”
此话题由会员1316016提供，如果你也有问题想提出来和大家一起讨论，请点击此处>>

如果你也有问题想提出来和大家一起讨论，请点击此处>>
说不定下期讨论的问题就是由你提出的哦，请快快参与吧！

获奖名单
奖项	获奖名单	奖励	答案链接
一等奖	hsjzfling	京东礼券50元	12#

没翅膀的飞鱼 · 发表于 2013-3-20 12:28:23

又开始了，先顶再想问题

天使V3坠落 · 发表于 2013-3-25 12:42:06

先顶再想问题

跑跑跑跑 · 发表于 2013-3-26 20:27:19

顶！很感兴趣，期待高手精彩作答

lsekfe · 发表于 2013-3-27 10:17:46

不顶了。上周的问题回答后都没给我审核通过。。桑心的
郭小贱发表于 2013-3-21 10:34

怎么会呢!在审核区域偶们肯定会进行审核的。

Myers · 发表于 2013-3-29 16:33:15

占个位置

TesterChen · 发表于 2013-4-1 10:48:02

自动化测试的结果度量?

首先，明确自动化测试的一些基本原则：

自动化测试结果不以是否发现缺陷和缺陷数量定义执行的成功与否（自动化测试原则上不会发现新的缺陷）

自动化测试是验证性回归测试（很多时候只对基本场景进行测试）

自动化测试无法替代手工测试（不具备人的主观意识）

自动化测试无法在需求经常变更的系统中使用

其次，可从以下基本准则评价自动化测试工作：

测试工具与实际项目的匹配度（杀鸡不用牛刀）

脚本维护的工作量（磨刀不误砍柴工）

脚本对功能的覆盖度（疏而不漏）

脚本的易用性（易读性）、强壮性和通用性（通俗易懂、坚如磐石）

脚本对不同平台的适用性（能适应才能不被淘汰）

脚本是否每次都能准确执行通过（执行完成是基本）

完美的重要数据、文件保存（数据备查很重要）

完美的测试结果统计报告（统计结果一目了然）

定时任务执行、定时邮件提醒（真正意义上的自动化）

最后，自动化测试的成功与否，与具体的场景、要求有关，但脚本的复用性，易用性，健壮性非常重要！

jiang0835e · 发表于 2013-4-3 11:15:01

我也来报道了，新人啊！

xiaojizair · 发表于 2013-4-3 14:59:23

新人报到，占个位置想问题

hsjzfling · 发表于 2013-4-3 17:28:05

分析命题，侧重点是在结果度量上，那么对于结果的分析，我们可以从以下几个方面来看：

1. 引入自动化测试之后，对于提交产品质量的影响
通常我们可以用遗留到客户手中的缺陷，也就是外部缺陷率来作为衡量产品质量的主要因素之一，那么引入自动化测试之后，能否有效的降低外部缺陷率，特别是外部缺陷中由于回归测试范围不全导致的缺陷，可以作为自动化测试结果度量的重要指标之一。

2. 自动化测试的投入产出比分析
好的自动化测试体系除了会比人更精确外，还应当会有较高的投入产出比，可以通过自动化人力投入人天数 / 自动化测试执行所能替代的手工测试工作量人天数这一结果来衡量。通常这一比例会在自动化初期较低，而随着周期越长，该数值会呈较明显上升趋势。
在这一环节，自动化执行的频率显得相当重要，但执行目的也应是相当明确的。另外发现的缺陷数可以从侧面反应自动化测试的价值，但不应作为主要的结果度量指标。

3. 自动化测试系统自身质量分析
自动化测试系统也是由脚本等构成的软件系统，自身的资产与过程也需要有严格的控制与度量，一般会从以下几个方面来衡量：
3.1 自动化测试覆盖范围内的缺陷遗漏率
3.2 自动化测试执行过程的稳定性与完整性
3.3 维护工作占总工作量的比例
3.4 自动化执行效率分析
3.5 脚本开发效率分析

check_lg · 发表于 2013-4-7 13:39:13

新人，聆听大神指导~

mengsui912 · 发表于 2013-4-8 15:38:33

冒头

sunln · 发表于 2013-4-9 13:51:03

回复 16# mengsui912

。。。。。。。。。。。。。

li_feibo · 发表于 2013-4-11 23:35:58

回复 6# lsekfe

版主，咋么我发表的日志都上传的图片都不显示，是网络太差了么？

avenn · 发表于 2013-4-12 20:47:41

“自动化测试结果不以是否发现缺陷和缺陷数量定义执行的成功与否（自动化测试原则上不会发现新的缺陷）”
这个还要看公司的自动化程度和产品的性质，有些产品是面向接口和逻辑的，从一开始测试就采用自动化测试，自动化也是能发现很多问题的。

自动化测试的结果度量?

首先，明确自动化测试的一些基本原则：

自动化测试结果不以是否发现缺陷和缺陷 ...
TesterChen 发表于 2013-4-1 10:48

zhangting85 · 发表于 2013-4-18 11:20:14

回复 19# avenn

不然，在接口测试的自动化测试用例编写的过程中，大部分bug已经被发现了。之后这些测试脚本的执行上确实很少发现新的缺陷。

willis_silliw · 发表于 2013-4-24 11:22:57

个人观点：
自动化的目的：1，提升效率 2，完成手工无法达到的任务。
自动化的评估：1，投入产出比 2，完成目标的程度，包含效率，产出，健壮等等其他预定目标的完成质量。
想评估自动化，要看为何目的使用自动化及投入与预期比

mugua0808 · 发表于 2013-4-27 08:44:22

回复 12# hsjzfling

这位仁兄说的不错

我们实际项目在做的结果度量有
1.脚本本身的测试覆盖率
2.脚本执行后的成功失败率以及失败原因分析
3.脚本缺陷遗漏率以及遗漏原因分析

mugua0808 · 发表于 2013-4-27 08:44:36

回复 12# hsjzfling

这位仁兄说的不错

我们实际项目在做的结果度量有
1.脚本本身的测试覆盖率
2.脚本执行后的成功失败率以及失败原因分析
3.脚本缺陷遗漏率以及遗漏原因分析

土土的豆豆 · 发表于 2013-4-27 09:18:15

好久没来支持本版了！这里浅谈下个人想法。
自动化测试其实是在产品/项目较为稳定和成熟时去做，这样才更有意义！
对于结果的度量，无外乎以下几点：
1、是否有完善的自动化测试度量体系。若有，则按照体系要求去执行即可。
常用的按照GB/T 16260 体系，如：
可靠性：测试体系是否能给出精确儿可重现的结果；
效率：与时间、工作量、成本相关，成熟的自动化测试体系应该比手工测试效率高很多；
易用性：能够被不同类型最终验收用户、测试工程师所接受并使用的效果；
可维护性：当软件程序升级时，升级测试的难易程度等；
可移植性：在不同环境中运行测试的能力；
健壮性：处理异常情况而不退出火终止程序的能力。

2、自动化测试结果占整个测试工作的百分比，包括手工测试和自动化测试。这里我要指出，自动化结果其实可以很简单的和我们手工的结果进行比对，是否数据符合实际业务需求；或者是太离谱，因为自动化毕竟是个整体架构的过程，包含了硬件、软件、网络等各种条件环境和配置；

3、简单列举两个度量模型，不一定适用，仅作参考而已。
测试结果的度量肯定与测试目标有关。测试主要目标是提高程序的可靠性和尽可能多得发现错误。
1）错误发现率（Defect Detection Percentage）DDP，即测试发现的错误数占潜在错误数的百分比。
2）错误修正率（Defect Fix Percentage）DFP，即测试纠正的错误数量占所有错误数的百分比。
这样，通过自动化工具执行批量脚本，可以很快有效地反映上述度量指标数据，节省人为成本。

当然具体度量肯定是根据不同企业不同客户不同项目的要求适当改变。能够满足客户要求的，即是一次成功的测试过程。其结果最终服务对象也是我们的甲方，即最终用户。

以上纯个人想法，不足之处，还望指正。谢谢！

		自动登录	找回密码
密码			(注-册)加入51Testing

自动化测试的结果度量?(2013.5.13)(获奖名单已公布)

本帖子中包含更多资源

相关帖子

站长推荐 /1