测试管理之测试度量-Bug总结系列笔记

M虫神

一、定义：
产生、分析、报告、采取行动的测试度量过少，且不具有实际意义 。

二、发生时间段
1.项目过大及复杂，需要管理。
2.一个或多个管理人员需要测试程序是可视的

三、陷阱表现
1.未产生、分析、报告或采取行动的及使用测试度量作为决策基础
2.主要测试度量不表现测试人员的工作效率 ，也不是团队发现缺陷的有效性。
只计算缺陷数量，不考虑初始缺陷密度。
只记录每个缺陷代价高的成本的初始质量，因当待发现的缺陷数量降低时，每个缺陷的成本升高。
3.仅计算开发并pass的测试的数量 ，不考虑测试规模和复杂性及达到计划的代码覆盖水平所需测试的数量 。未估计测试有效性
未估计剩余未被发现的缺陷的数量（如使用建设性的质量模型），
从之前的测试漏网的缺陷的数量，如：
应在单元测试过程中发现，但却在集成和系统级测试中发现的单元缺陷
应在单元或集成测试中发现，但却在系统测试中发现的接口缺陷
应在专业工程测试中发现，但在系统、验收或运行测试过程中发现的导致不能达到质量属性要求的水平的缺陷。
4.管理层严格用单位时间内所发现的缺陷来度量整体测试项目的生产效率 ，忽略了所发现缺陷的重要性和严重性。

四、负面后果
1.管理人员、测试人员和测试的其他利益相关者不是准确地知道测试的质量、所发现缺陷的重要性，或交付的系统中遗留缺陷的数量
2.管理人员不知道测试团队的工作效率和发现重要缺陷的成效，难以改进测试过程
3.测试人员集中精力寻找大量缺陷，而不是寻找关键缺陷（如有任务关键性、安全关键性、保密关键性的后果的）
4.测试利益相关者有虚假的安全感 ，认为系统在交付和部署时会正常工作

五、原因
1.项目管理不熟悉不同类型的有用的测试指标 （如质量、状态、生产效率）
2.度量指标的收集 分析 报告是在如此概要的程度 。
3.项目管理只知道向后看的指标 ，而不是前瞻性指标（如待发现的遗留缺陷）

六、建议
1.准备：
为测试人员和测试利益相关者提供强调测试指标的基本度量培训
2.启用
在测试计划中包含健全的度量，包括所有相关指标
强调发现重要缺陷
3.执行
使用以下测试指标：
最初测试执行中发现的缺陷数量（测试有效性度量）
每个验证里程碑漏网的缺陷数量（评审 审查 测试）
留在交付系统中潜在的未被发现的缺陷的估计数量
单位时间发现遗留缺陷的估计总百分比，按缺陷严重程度加权（测试项目的生产率度量）
定期收集和分析一套合适的进展、生产效率和质量的测试指标
向项目管理层报告这些测试指标
4.验证
确定执行的测试过程是否已过度度量驱动
确定测试人员是否更关心看起来不错而不是找到最重要的Bug
确定是否正在收集 分析  报告足够的测试指标