|
1. 自动化测试的意义所在: 从目前我所测试出来的结果看,所测试出来地结果仅供开发人员参考,缩小问题的范围,到最后发现问题的所在, 但不能解决问题,发现问题存在的真实原因;例如: 通过不断的加压,不同的测试数据,开发人员不断的修改代码,修改Server的一些配置,最后可以确认问题所在是发生在DBserver或Appserver或Webserver,甚至可以确认到某段代码存在问题,但不能具体了解到为什么会存在这样的问题, 这些就需要开发人员来了解和解决了,当然我与我的自身水平也有问题,我不知道其它的测试同行是怎么看待这样的问题?
————————————
如果你的程序随便一用就是bug,那你不需要自动化测试。
如果你的程序,一个版本就几个bug,而且修改量不大,自动化可以帮你做很多重复性的工作
2. 在LR测试过程中,Controller在运行过程中,可以知道目前运行的状态,例down,pending,Init,Ready,Run,Reendez,Passed,Failed.....,
但,我现在想知道我代码运行到了那个action? 怎么看?例如: 我现在代码分Vuer_init,home,logic,view,query,query_end,vuser_end, 现在想知道在Controller并发运行过程中,有多少用户在在view,有多少用户运行在query,又有多少用户目前已经失败或错误,失败或错误又在那个
action中?
——————————————————————
你关注他在哪干嘛呢?这些是在你的脚本里面控制的,设计脚本的时候,就要规划好,他什么时间,要在什么位置。哪个错误,从执行日志来看,极其不方便。我个人是把错误信息写入日志文件,每个用户一个日志文件。执行场景前,通过代码删除之前的文件。
3. 测试数据有100个,在LR测试过程中,Controller在并发运行50个,如何知道是那50个用户在运行? 那一个具体的用户是失败了? 若是在并发运行过程中无法看到,那么在日志文档中是否可以看到? 要看到要怎么样的设置?
————————————
同2
4. 测试数据中有60个数据,我并发40个,但始终只有14个可以运行,还有26个是Error,没有运行,我在代码执行过程中没有跌代,可以确认的是运行 的14个用户是14个不同的用户,我从webligic后台可以看到,在报告中也没有运行显示,我怀疑是测试数据做得有问题,但我认真得研究了测试数据参数化过程,应该没有太大得问题,第一个参数是user,后面的参数都是选择Same line as user,第一个参数设置是这样的: Select column: [By name(user)], Select next row: [Uniqe], Update value on:[Each iteration],这样设置是14个成功,26error,后来我改了设置成:Select column: [By name(user)], Select next row: [Sequential], Update value on:[Each iteration],也是一样的效果,但有是会读同一用户
————————————
在有错的地方,使用lr_output_message 输出你使用的参数,这个叫日志调试
5. 在LR测试过程中,Controller在并发运行过程中,会出现在Controller运行已经结束,有成功,也有失败,但在后台,无论是监控oracle还是监控weblogic都可以看到实际上还没有结束,也有发生会Controller比后台oracle或weblogic推迟结束的问题,不过就延迟了1到10秒左右,可以排除的是不存在Step download timeout的问题, 我都已经设置成最大的32000了,而且运行时间也没有达到该时间
————————————
LR本身也会有bug,用好工具的优点,工具的缺点有时候是难免的。异或你的脚本有问题。
6. 在测试报告中,那么多的参数,对得到的性能指标怎么具体分析,希望能有同行能给予一个具体的示例化的参考,邮箱:lxpqhb@163.com,非常感些。 |
|