测试用例设计求助

啄木鸟

各位看官，现在我正在测一个考试系统的组卷方案，对于测试用例唯恐不能全部覆盖
特寻求帮助，假设只有一道大题的话
组卷人员可以根据
难易度（难、一般、简单）
重要性（重要、一般、不重要）
知识点（知识点一、知识点二、知识点三）
的比例进行组卷，请问我要设计多少个测试用例才能覆盖所有的情况来验证组卷是否正确？怎么设计？

Leon

假设组卷过程中难易度中“难”，“一般”，“简单”三者出现几率相同，对重要性，知识点也做同样假设，那么一共有3*3*3种可能，并且每种可能出现的几率都为1/27，那么随机出1000道题目，每种可能应该出现37-38次，考虑到样本空间还不够大，那么允许在35-40之间波动，如果结果不是这样，那么说明程序逻辑对某种可能具有倾向性，不能满足设计方案的需要。
当然，这是最简单的情况，复杂点的情况可能对于难易度，重要性，知识点具有某种关联性，比如“知识点三”难度不能超过“一般”，或者难易度中出“难”的可能性比较大等等，将这些特殊情况考虑进去，使用上述方法依然是可以测试的。

fjzpczj

正交分析法
这样来节省许多的的用例,而且又可以几乎覆盖到该有的情况

fjzpczj

基本步骤:
一、提取系统功能说明中的因子
二、分析各因子的状态
三、将因子、状态映射到上面正交表中
四、根据每行数据得到测试用例

啄木鸟

如果我设置一个 1：1：1，1：1：1；1：1：1 三个比例的抽题方案，设计了27道不同的题，如果我按照该方案组卷，如果我能够得到 27道不同的题，那是否可以说我的抽题的方案是实现了？（先不考虑楼上所说的是否有倾向性验证）


还有正交分析是不是也就是上边所说的方法？

[ Last edited by 啄木鸟 on 2005-10-29 at 12:51 ]

fjzpczj

正交分析法：
一、提取系统功能说明中的因子：
1、难易度       
2、重要性       
3、知识点
二、分析各因子的状态
A、难易度 A1、难、A2、一般、A3、简单
B、重要性 B1、重要、B2、一般、B3、不重要
C、知识点C1、知识点一、C2、知识点二、C3、知识点三
三、将因子、状态映射到上面正交表中
A     B    C
A1 \B1 \C1
A1 \B1 \C2
A1 \B2 \C1
A1 \B2 \C2
A2 \B1 \C1
A2 \B1 \C2
A2 \B2 \C1
A2 \B2 \C2
A3 \B1 \C3
A3 \B2 \C3
A1 \B3 \C3
A2 \B3 \C3
A3 \B3 \C1
A3 \B3 \C2

总共只要设计到14个用例就可以了

啄木鸟

为什么不是27个而是十四个呢

skinapi

正交分析法实际上可以看成测试数据的采样，从组合上来讲应该有27个用例的，但可以通过正交分析法从中选取若干个用例来，用一定的用例数达到一定的测试效果。

啄木鸟

我想全部用 1：1：1，1：1：1，1：1：1，我写27道不同的题（想来这27道题也是测试用例来），然后组卷方案用一个，如果把这27道题全部抽出来，那么我这“组卷方案“ 也就证明是成功的吧

Leon

哪可能抽27次就全部抽出27题啊，你试试看扔10次硬币，肯定5次正5次反么？？

啄木鸟

建议楼上的用比较直白的语言 给偶解释解释，喜欢大实话地说

晓寒

正交试验:

3个3水平的因子,做全面试验需要3*3*3=27次试验,用L9(3 4)(注,4是上标,这里面打不了,从Word里也拷不了)来设计试验方案,只要做9次,工作量减少了2/3,而在一定意义上代表了27次试验.


要求不高的话,用正交试验设计法,采用9次,和27次是一样的效果.


如果要求达到100%的覆盖率,还是用27次吧.前者只能提供一定的覆盖率,不是全部的.

[ Last edited by 晓寒 on 2005-11-7 at 14:04 ]

晓寒

9次的用例是这么设计的

省去ABC了
1 1 1
1 2 2
1 3 3
2 1 2
2 2 3
2 3 1
3 1 3
3 2 1
3 3 2

你有兴趣的话可以看看正交试验设计法的相关知识.  :  )

[ Last edited by 晓寒 on 2005-11-7 at 14:08 ]