重复执行两次同样的测试的问题.

yanzizhao1102 · 发表于 2008-3-7 17:34:34

我设置了10个用户进行脚本运行,结果发现了6个Timeout的警告,一个用户失败的错误.
脚本不变,我再次执行一次,发现了有4个Timeout的警告,但是却全体都执行了.
为什么往往重复执行会有这么大的数据差别?网络问题吗?
针对这种问题我该怎么办呢?

rickyzhu · 发表于 2008-3-7 21:00:59

两次执行结果不一样，这太正常了，性能测试不是功能测试，不可能每次都一样的结果。

这不是问题，不需要怎么办不办的问题

yanzizhao1102 · 发表于 2008-3-8 09:29:50

哪我怎么办呢?以哪一次的结果为准写测试报告呢?难道再多试几次,取平均值!

rickyzhu · 发表于 2008-3-8 21:22:22

都说了，不需要怎么办，还要问怎么办？

测试报告，是综合的结果，只需要如实反映情况皆可，可以把10个用户系统响应如何，50用户如何，100用户如何。都列进去，性能测试不是功能测试报告，没有对错，除非你有性能指标。

liangjz · 发表于 2008-3-9 00:01:04

场景设置多长时间呢？
如果长了，重复执行的话，原则上2者事务通过率理论上很接近的。

还有场景设置有变化么？被测试服务器和软件有变化么？网络有变化么 ?

[ 本帖最后由 liangjz 于 2008-3-9 00:04 编辑 ]

Zee · 发表于 2008-3-9 10:26:40

我觉得楼主的描述，差距挺小的。

性能测试的过程是需要控制的。这个应该去非常详细的去分析环境。

yanzizhao1102 · 发表于 2008-3-10 09:55:42

恩,你说的对,我也是刚开始进行了性能测试可能凡事都讲究对错!

yanzizhao1102 · 发表于 2008-3-10 10:02:09

哦,我的场景设置都没有变化,服务器和软件也没有变化,连接的是远程服务器,可能是网络有问题

你的意思我明白了,是不是就是说设置场景的其它的设置不变,加压时间越长,重复测试的数据就应该差别越小,测试数据也就越可靠!

higkoo · 发表于 2008-3-10 10:24:23

你这才10个用户，没什么特别的操作吧？基本上不可能是网络问题。结果不同，确实是很正常的，影响因素可是太多了，上面前辈说得非常好。把握一个稳定可控的环境，针对此环境做一次结果即可。不放心可以多试几次，结果实事求事即可。

		自动登录	找回密码
密码			(注-册)加入51Testing

[原创] 重复执行两次同样的测试的问题.