困惑?同样的测试,循环测试10次,结果不一样

liwenbin

本人刚接触winrunner,练习登录测试,在测试的过程中发现一个奇怪的问题,如下:
   1 手工测试通过;
   2 在DEBUG模式下,单步调试通过;
   3 在debug下执行时,问题发生了。

同样的用户名,和密码在循环10次时, 得到的结果不一样.
环境 : windows xp sp2, winrunner8.2

      登录时,其中有一项是用javascript验证密码是否为“非法字符”,当验证通过后,再提交servlet,判断密码是否正确
      可当我在debug下循环10次执行时,发现结果有时候和我期望的不一样,弹出了"用户名或密码错误"警告
      从程序分析的角度来看,当在客户端验证失败时,不会提交servlet(不会弹出“用户名或密码错误”警告).我手工测试了N遍,都是对的

不知道我有没描述清楚

脚本如下:
static name,password;
name="ttt";
password="~!@#";
        web_browser_invoke(IE,"http://localhost:8080/DocumentManager/login.jsp");
        for(i=0;i<10;i++)
        {
        set_window("登录页面",10);
        edit_set("name",name);
        edit_set("password",password);
        static_get_text("name",n);
        static_get_text("password",pw);
        report_msg("用户名"&n&"密码"&pw);   
        button_press("登录");
        set_window("POPUP");
        static_check_text("Message","密码只可以为字母,数字和下划线");
        button_press("确定");
        }
ddt_close(table);

junlingliu

我遇到了同样的问题,每执行该程序循环8次,但是当第三次执行的时候就出错了......
这到底是谁的bug?

tianyu124

如果是网页的话建议你用QTP测试

liwenbin

我对我的程序到底有没BUG产生了怀疑
   今天早晨测试了WR自带的那个飞机程序的登录,通过！
   然后我又测试了我那个登录的程序,结果通过了！接着连着跑了N遍,没问题，我的登录程序没变,WR的脚本也没改变!
    真不知道是什么原因了,
    难道是B/S结构程序,客户端和服务端交互的不稳定.

小李美刀

在脚本程序没有问题的前提下, 测试过程中有一次出现 问题, 那也是BUG, 只不过这种BUG 出现的机率较少而已

liwenbin

用白盒测试的方法,检查了那个出错的地方,和预期的一样,通过(只测试功能)

再用工具测试,还是出现那样的问题,中午吃饭,我测了用例其他步骤,我狠下心让他们循环1000次,通过,

下午回过头来测试上午出错的那一步,奇怪,我run了好多次,通过.

接下来, 当我测试其他步骤时,又通不过了,

真不知道是什么原因

我的WR是网上下载下来的...

这个简单的登录测试,到我这里怎么就出现了那么多问题啊

liwenbin

晕！这个登录是自己写的。流程很简单: 先在客户端做验证;如果出现了不合要求的,比如是非法字符,就return了，不会提交服务器
      可从测试结果来看,有的时候的确饶过了客户端验证,直接提交服务器了     
      我一直是以为TSL有问题,没怀疑过程序问题,思维陷入了一维。
      看来自己写的程序不能自己测！

foxmishy

同时两个用户名和密码在数据库中比对，导致有一个密码提示错误？ 个人猜测。

小李美刀

出现这种情况很正常嘛, 这说明你测试的系统有 BUG, 这恰恰是手工测不到的地方, 工具的速度是手工的几十,几百倍.