第51贴【2004－7－8】：测试的敏感性和健壮性

天网

敏感的测试是指测试过程能发现微小的，甚至是不起眼的错误。敏感的测试能发现较多的问题，但任何一点微不足道的改动都将导致测试用例及执行过程的更改。健壮的测试是指测试过程能够容忍较多的差别，不会影响测试用例的失败。在自动化测试时，健壮的测试可以较容易通过执行，也就减少了意外情况对测试过程的影响，但会导致发现问题的能力下降，甚至放过应该发现的问题。

   应当在测试的敏感性和测试的健壮性之间进行权衡。对大量的自动测试用例而言，过多的敏感性比缺少敏感性更会反面影响失败分析工作。如果运行一组敏感的测试用例，那么有可能其中多数的测试用例由于相同的原因而失败。在这种情况下，每个失败的测试用例都指示相同的错误，但测试人员只是希望获得不同的错误及错误的差异，并不需要重复相同的错误报告。

   敏感性和健壮性的测试应当是：
   1、无论软件何时发生了变化，主要在高层次，即在作为明智的检验运行测试事例的地方，使用敏感比较
   2、考虑多组测试用例，其中的一两组使用敏感比较，而其他组使用健壮比较
   3、好的测试自动化策略应该是规划敏感测试和健壮测试的混合体