51Testing软件测试论坛

标题: 重复执行两次同样的测试的问题. [打印本页]

作者: yanzizhao1102 时间: 2008-3-7 17:34
标题: 重复执行两次同样的测试的问题.
我设置了10个用户进行脚本运行,结果发现了6个Timeout的警告,一个用户失败的错误.
脚本不变,我再次执行一次,发现了有4个Timeout的警告,但是却全体都执行了.
为什么往往重复执行会有这么大的数据差别?网络问题吗?
针对这种问题我该怎么办呢?

作者: rickyzhu 时间: 2008-3-7 21:00
两次执行结果不一样，这太正常了，性能测试不是功能测试，不可能每次都一样的结果。

这不是问题，不需要怎么办不办的问题

作者: yanzizhao1102 时间: 2008-3-8 09:29
哪我怎么办呢?以哪一次的结果为准写测试报告呢?难道再多试几次,取平均值!

作者: rickyzhu 时间: 2008-3-8 21:22
都说了，不需要怎么办，还要问怎么办？

测试报告，是综合的结果，只需要如实反映情况皆可，可以把10个用户系统响应如何，50用户如何，100用户如何。都列进去，性能测试不是功能测试报告，没有对错，除非你有性能指标。

作者: liangjz 时间: 2008-3-9 00:01
场景设置多长时间呢？
如果长了，重复执行的话，原则上2者事务通过率理论上很接近的。

还有场景设置有变化么？被测试服务器和软件有变化么？网络有变化么 ?

[ 本帖最后由 liangjz 于 2008-3-9 00:04 编辑 ]

作者: Zee 时间: 2008-3-9 10:26
我觉得楼主的描述，差距挺小的。

性能测试的过程是需要控制的。这个应该去非常详细的去分析环境。

作者: yanzizhao1102 时间: 2008-3-10 09:55
标题: 回复 4# 的帖子
恩,你说的对,我也是刚开始进行了性能测试可能凡事都讲究对错!

作者: yanzizhao1102 时间: 2008-3-10 10:02
标题: 回复 5# 的帖子
哦,我的场景设置都没有变化,服务器和软件也没有变化,连接的是远程服务器,可能是网络有问题

你的意思我明白了,是不是就是说设置场景的其它的设置不变,加压时间越长,重复测试的数据就应该差别越小,测试数据也就越可靠!

作者: higkoo 时间: 2008-3-10 10:24
你这才10个用户，没什么特别的操作吧？基本上不可能是网络问题。结果不同，确实是很正常的，影响因素可是太多了，上面前辈说得非常好。把握一个稳定可控的环境，针对此环境做一次结果即可。不放心可以多试几次，结果实事求事即可。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)