自动化测试的结果度量?(2013.5.13)(获奖名单已公布)

lsekfe

本周的问题为“自动化测试的结果度量?”
此话题由会员1316016提供，如果你也有问题想提出来和大家一起讨论，请点击此处>>

如果你也有问题想提出来和大家一起讨论，请点击此处>>
说不定下期讨论的问题就是由你提出的哦，请快快参与吧！

获奖名单
奖项	获奖名单	奖励	答案链接
一等奖	hsjzfling	京东礼券50元	12#

没翅膀的飞鱼

又开始了，先顶再想问题

天使V3坠落

先顶再想问题

跑跑跑跑

顶！很感兴趣，期待高手精彩作答

lsekfe

不顶了。上周的问题回答后都没给我审核通过。。桑心的
郭小贱 发表于 2013-3-21 10:34

    怎么会呢!在审核区域偶们肯定会进行审核的。

Myers

占个位置

TesterChen

自动化测试的结果度量?

首先，明确自动化测试的一些基本原则：

自动化测试结果不以是否发现缺陷和缺陷数量定义执行的成功与否（自动化测试原则上不会发现新的缺陷）

自动化测试是验证性回归测试（很多时候只对基本场景进行测试）

自动化测试无法替代手工测试（不具备人的主观意识）

自动化测试无法在需求经常变更的系统中使用

其次，可从以下基本准则评价自动化测试工作：

测试工具与实际项目的匹配度（杀鸡不用牛刀）

脚本维护的工作量（磨刀不误砍柴工）

脚本对功能的覆盖度（疏而不漏）

脚本的易用性（易读性）、强壮性和通用性（通俗易懂、坚如磐石）

脚本对不同平台的适用性（能适应才能不被淘汰）

脚本是否每次都能准确执行通过（执行完成是基本）

完美的重要数据、文件保存（数据备查很重要）

完美的测试结果统计报告（统计结果一目了然）

定时任务执行、定时邮件提醒（真正意义上的自动化）

最后，自动化测试的成功与否，与具体的场景、要求有关，但脚本的复用性，易用性，健壮性非常重要！

jiang0835e

我也来报道了，新人啊！

xiaojizair

新人报到，占个位置想问题

hsjzfling

分析命题，侧重点是在结果度量上，那么对于结果的分析，我们可以从以下几个方面来看：

1. 引入自动化测试之后，对于提交产品质量的影响
    通常我们可以用遗留到客户手中的缺陷，也就是外部缺陷率来作为衡量产品质量的主要因素之一，那么引入自动化测试之后，能否有效的降低外部缺陷率，特别是外部缺陷中由于回归测试范围不全导致的缺陷，可以作为自动化测试结果度量的重要指标之一。

2. 自动化测试的投入产出比分析
    好的自动化测试体系除了会比人更精确外，还应当会有较高的投入产出比，可以通过 自动化人力投入人天数 / 自动化测试执行所能替代的手工测试工作量人天数 这一结果来衡量。通常这一比例会在自动化初期较低，而随着周期越长，该数值会呈较明显上升趋势。
    在这一环节，自动化执行的频率显得相当重要，但执行目的也应是相当明确的。另外发现的缺陷数可以从侧面反应自动化测试的价值，但不应作为主要的结果度量指标。

3. 自动化测试系统自身质量分析
    自动化测试系统也是由脚本等构成的软件系统，自身的资产与过程也需要有严格的控制与度量，一般会从以下几个方面来衡量：
    3.1 自动化测试覆盖范围内的缺陷遗漏率
    3.2 自动化测试执行过程的稳定性与完整性
    3.3 维护工作占总工作量的比例
    3.4 自动化执行效率分析
    3.5 脚本开发效率分析

check_lg

新人，聆听大神指导~

mengsui912

冒头

sunln

回复 16# mengsui912


    。。。。。。。。。。。。。

li_feibo

回复 6# lsekfe

版主，咋么我发表的日志都上传的图片都不显示，是网络太差了么？

avenn

“自动化测试结果不以是否发现缺陷和缺陷数量定义执行的成功与否（自动化测试原则上不会发现新的缺陷）”
这个还要看公司的自动化程度和产品的性质，有些产品是面向接口和逻辑的，从一开始测试就采用自动化测试，自动化也是能发现很多问题的。

自动化测试的结果度量?

首先，明确自动化测试的一些基本原则：

自动化测试结果不以是否发现缺陷和缺陷 ...
TesterChen 发表于 2013-4-1 10:48

zhangting85

回复 19# avenn


    不然，在接口测试的自动化测试用例编写的过程中，大部分bug已经被发现了。之后这些测试脚本的执行上确实很少发现新的缺陷。

willis_silliw

个人观点：
自动化的目的：1，提升效率 2，完成手工无法达到的任务。
自动化的评估：1，投入产出比 2，完成目标的程度，包含效率，产出，健壮等等其他预定目标的完成质量。
想评估自动化，要看为何目的使用自动化及投入与预期比

mugua0808

回复 12# hsjzfling

这位仁兄说的不错

我们实际项目在做的结果度量有
1.脚本本身的测试覆盖率
2.脚本执行后的成功失败率以及失败原因分析
3.脚本缺陷遗漏率以及遗漏原因分析

mugua0808

回复 12# hsjzfling

这位仁兄说的不错

我们实际项目在做的结果度量有
1.脚本本身的测试覆盖率
2.脚本执行后的成功失败率以及失败原因分析
3.脚本缺陷遗漏率以及遗漏原因分析

土土的豆豆

好久没来支持本版了！这里浅谈下个人想法。
自动化测试其实是在产品/项目较为稳定和成熟时去做，这样才更有意义！
对于结果的度量，无外乎以下几点：
1、是否有完善的自动化测试度量体系。 若有，则按照体系要求去执行即可。
常用的按照GB/T 16260 体系，如：
可靠性：测试体系是否能给出精确儿可重现的结果；
效率：与时间、工作量、成本相关，成熟的自动化测试体系应该比手工测试效率高很多；
易用性：能够被不同类型最终验收用户、测试工程师所接受并使用的效果；
可维护性：当软件程序升级时，升级测试的难易程度等；
可移植性：在不同环境中运行测试的能力；
健壮性：处理异常情况而不退出火终止程序的能力。

2、自动化测试结果占整个测试工作的百分比，包括手工测试和自动化测试。这里我要指出，自动化结果其实可以很简单的和我们手工的结果进行比对，是否数据符合实际业务需求；或者是太离谱，因为自动化毕竟是个整体架构的过程，包含了硬件、软件、网络等各种条件 环境 和配置；

3、简单列举两个度量模型，不一定适用，仅作参考而已。
测试结果的度量肯定与测试目标有关。测试主要目标是提高程序的可靠性和尽可能多得发现错误。
1）错误发现率（Defect Detection Percentage）DDP，即测试发现的错误数占潜在错误数的百分比。
2）错误修正率（Defect Fix Percentage）DFP，即测试纠正的错误数量占所有错误数的百分比。
这样，通过自动化工具执行批量脚本，可以很快有效地反映上述度量指标数据，节省人为成本。

当然具体度量肯定是根据不同企业 不同客户 不同项目的要求适当改变。能够满足客户要求的，即是一次成功的测试过程。其结果最终服务对象也是我们的甲方，即最终用户。

以上纯个人想法，不足之处，还望指正。谢谢！