关于MMORG自动化测试

5450488

当前我们公司的游戏测试还停留在纯手工测试阶段（也就是功能测试），不论是测试什么新活动，跑什么流程基本就是上线、点击、查看、记录，而且有很多的重复性活动。
最近公司要求测试人员也要学会lua脚本，由黑盒测试向白盒测试过度，经过查看脚本发现，很多的操作时无法通过编写脚本实现的（或许自己不知道），就拿简单的登陆来
说有专门的登陆服务器负责验证玩家登录而脚本运行是在玩家登录后才能运行加载的；还有就是玩家同活动NPC的交互现在还不知道如何模拟，比如点击NPC操作。还有就是
玩家自身的属性调整，功能测试一般是通过GM命令来调整玩家的属性装备等等条件，脚本调整属性不知如何实现。以上问题不知各位如何实现的？
   目前很多游戏都有抽奖活动，策划人员有时会为了参看奖品设置的有效性，需要测试人员跑奖励数据，为了实现自动化跑数据，本人思路是这样的：
1、首先是模拟玩家抽奖操作，抽奖-》领取奖励-》继续抽奖，该操作可以通过按键精灵实现，模拟鼠标点击、移动即可实现；
2、奖励数据收集，通过修改脚本，将奖励的物品（名称、数量）通过脚本格式化输出到文本文件
3、依据开发需求对收集到的数据进行处理。
这只是我的大体思路，定有不足之处，不知各位怎么看...

5450488

没有人给点建议嘛~~

maxwell12

依照你的思路
登陆服务器,可以使用按键精灵来完成。录制这样一个过程。点击显示桌面快捷方式（防止有开启的窗口影响操作）--双击桌面上的客户端快捷方式--输入帐号密码登陆游戏--选择角色进入游戏--移动到活动npc处进行活动操作
注意上述操作需要手动延长脚本中延迟时间的数值。主要是等候资源加载的时间（loading过程）

检查奖励物品的脚本，掉落池的物品和活动策划要求的是否一致。调整概率，检验物品掉落实际效果。多次取样检查概率正确。

ps：mmorpg用按键精灵重复模拟玩家移动操作要考虑角色朝向问题。如果玩家角色的视角朝向是固定的，可以用gm命令将角色移动到固定点，然后点屏幕固定位置就可以实现移动路线的复现。
    而角色朝向不固定，点击屏幕固定位置所取到的坐标是不相同的，移动路线会出现偏差。

11111

关注此贴

lukacrusade

一直在考虑一个问题：自动化或者说辅助测试要是真的涉及到游戏源程序的话（调用函数，接口），首先维护成本很大，其qc素质也要求很高；其次，借用程序自身去检查程序，这能保证些什么？程序里某个数值是对的，但是未必画面、运行结果是对的吧？

另外一提的是，用lua写脚本算白盒测试么？你是检验最终游戏结果的还是程序运行的参数？甚至其代码？不过无论如何，这种自动化测试也只是停留在“白盒”角度。

偶也被老大指明去搞自动化测试，不过基于能力和公司环境，基于实验，首先下手的是“黑盒”角度的辅助测试。过程中发现，白盒角度做起来很方便，状态值很好处理的，在黑盒里却很难……等我的黑盒辅助测试稳定后，下一阶段就要考虑把白盒黑盒结合在一起搞了，因为发觉黑盒自动化原来跟白盒没冲突了，可以互补优缺点。

呵呵，不过偶原定计划是做一年qc，之后的视情况再决定，所以究竟有没下一阶段都不清楚……
最后，期待其他人交流一下经验，天天摸黑探索真的很辛苦……可怜公司只有我一个负责搞，别说交流求助了，连分享经验的机会都没

[ 本帖最后由 lukacrusade 于 2010-2-1 11:19 编辑 ]

tsh62812

都这样的 啊
没办法 本公司就我一个测试的
我也是自己设计测试相关的内容
一直在关注帖子  每天来看看
希望有过游戏测试的前辈门多分享点资料哦

hongewuyan

1、操作上的模拟，可以部分的使用按键精灵来实现
2、功能上的测试，可以借助于一部分lua脚本，比如我曾经做过利用自己写的一段lua代码给自己不断添加宝箱并开启宝箱，再统计宝箱产出物，最终输出宝箱物品产出概率
3、进一步的测试仍然需要借助lua来为测试角色提供各种便利，例如直接修改任务数据、添加buff或创建怪物（但这些均需要开发方面提供各种API接口支持，但我相信既然你们的游戏任务系统采用了lua，必然会有这样的lua接口提供的）
4、熟悉lua之后，一些开发方面提交的lua代码就可以进行部分的白盒测试，特别是在一些回归测试中，通过前后脚本的比较就可以很廉价的判断问题是否得到修复。
5、MMO根本上的自动化测试支持，需要在产品设计之初就开始考虑并提供支持。如果在产品已经推出之后再尝试实现，我个人觉得性价比就不够了。我们公司目前只在一款新制作的产品中尝试引入了客户端脚本自动化测试。
6、对于MMOG来说，手工测试至少目前阶段是无法替代的。

5450488

这位仁兄看来对按键精灵很是熟悉。我用按键精灵模拟玩家登录跟你写的思路差不多，就是模拟鼠标点击、鼠标移动、键盘动作，过程控制可根据客户端图片或者是颜色判断来实现。至于延时操作，我是用一个死循环一直运行判断，如果通过了就加一个break结束该循环，然后跳转到另一个子程序继续运行。
检查奖励物品就是模拟玩家操作，将奖励的物品编号 名称记录到文件里边，然后对数据进行分析。
至于角色朝向对坐标的影响还没有验证，想了一下MMorg中取得坐标应该是场景地图的左边，貌似跟人物朝向没有关系，验证后回复~~

5450488

看了几遍这哥们的帖子没有搞懂你想表达的是什么。你所说的“黑盒辅助测试”就是游戏的功能测试吧？“白盒角度做起来很方便，状态值很好处理的”不知什么意思，你是想说通过修改脚本里面的状态值可以很方便的辅助对游戏开展功能测试吧。

真如你所问的，我们目前通过写或者直接修改游戏脚本可以检验最终游戏结果（因为前提是模拟玩家对游戏的操作），如果对脚本熟悉还能够运用路径检查法对脚本中直接验证，检查脚本是否实现了各种可能的情况（流程图）

5450488

你说的这6点即可作为总结又很值得借鉴，看来你们公司的游戏测试很规范，平时也关注过你的其他回帖。
第4、6是我没有想的，我们目前的回归测试还是对游戏直接操作而不是通过代码的检查，直接的代码对比确实简单效率更高些，但是有一点值得考虑，代码的修改是否会在解决原来问题的同时带来新的问题，仅仅通过代码对比是无法发现，并不绝对，但存在风险。
当前我们测试工作是比较被动的，测试正式引入的晚，游戏早已经在运营了，自动化测试工作还在摸索阶段。你说的客户端脚本自动化测试倒是挺新奇的，不知能不能多说点思路？

perfectsharp

自动化测试，确实应该就是设计的时候要重点考虑的。
不过，解决BUG最好的时间是在BUG引入的时候，设计之处要考虑的还是尽量让问题在前期尽快的暴露出来。
就我所见到的，国内的游戏公司的开发模式，都喜欢亡羊补牢。

另外：自动化测试更多的是锦上添花的感觉，而且也替代不了手工测试。

mailtolily

一直在关注游戏自动化测试，我们公司一直做主要是黑盒方面的测试，中间也曾试着采用自动化，但由于游戏多变等一直没有实施下去。

charleswhite

不太懂游戏测试，总感觉游戏测试的自动化有点像开发外挂。
不如请教下做外挂的？比如自动打怪升级什么的。

maxwell12

不用请教做外挂的,公司内部的程序就搞定了.也就是和做机器人一样.
不过还是必须有客户端实际输入显示的测试，毕竟玩家是这么操作的。

perfectsharp

呵呵，游戏自动化比外挂要多做很多事情哈，比如说，要多个检查步骤。另外，外挂是只做对的。自动化测试还要做错的。