如何判断是脚本问题还是bug

norbear

今天IBM面试被问到一个问题：“在用qtp进行自动化测试时，测试结果返回是失败，如何判断：是因为脚本编写错了？还是被测程序有bug?"。我学习qtp的时间不长，所以这个问题我不知道如何回答，请各位高人给我赐教。不胜感激!

wuyuzimu

result里难道看不出来的么？

norbear

result里只能看出在哪一步失败了，但是想知道失败的原因是因为脚本编写有问题还是程序真的有bug

norbear

result里只能看出在哪一步失败了，但是想知道失败的原因是因为脚本编写有问题还是程序真的有bug

yangkinki

被測程序有bug，那你是怎么知道這個是測試程序有bug呢，如果你沒有期望值，你執行自動化測試，讓工具執行完一遍，什么結果都沒有，那是說明沒有問題還是有問題， 都不知道，  自動化測試也需要有期望值的，自己增加檢查點或者是編寫語句進行判斷實際值與期望值是否一樣，  執行完之后，如果result中出現了紅叉叉，而且是你設置的檢查點，那說明這里的實際結果與你的期望值不一致了。 如果這個地方沒有檢查點，那說明是錄制腳本出現了問題，可能執行到這個地方執行不下去等等問題，這個需要具體分析了。

wangzhu2008

有人回答这个问题吗，我也想知道

jackymail

相同操作手工测试一次就得了

然后发现手工测试没问题就单步调试一下脚本，都没问题就是意外

walker1020

有些明显就是脚本的问题，如 QTP 报告 语法错误或 有多个向匹配的对象。有的需要结合Test Case来判断，如 QTP报告找不到对象。你要具体分析是应用程序变化了或出错了，还是脚本写的有问题。

风过无息

标准的自动化脚本,假如是BUG的话,会有一个完整的处理机制,假如是脚本问题,也会捕获的,显示的时候是会有区别的.

Simatu

建议楼主用一下QTP,这样才会有体会

alexguo

哪一步错误应该也是有原因的吧
比如语句……
应该可以一定的判断出来错误

dftx511619

貌似答案应该是这样： （个人看法）

一般 Result 里面的错误信息只有2种 ： 1. 自己添加的错误信息(大部分是程序BUG问题提示)  2. 脚本问题出现的错误信息

所以楼主只需要 在Result里面看看错误信息是不是你自己添加的，如果不是则就是脚本问题  

个人看法，呵呵！

[ 本帖最后由 dftx511619 于 2008-5-18 20:14 编辑 ]

walker1020

这个也是需要结合 Test Case来判断的

莫冲

被測程序有bug，那你是怎么知道這個是測試程序有bug呢，如果你沒有期望值，你執行自動化測試，讓工具執行完一遍，什么結果都沒有，那是說明沒有問題還是有問題， 都不知道，  自動化測試也需要有期望值的，自己增加檢查點或者是編寫語句進行判斷實際值與期望值是否一樣，  執行完之后，如果result中出現了紅叉叉，而且是你設置的檢查點，那說明這里的實際結果與你的期望值不一致了。 如果這個地方沒有檢查點，那說明是錄制腳本出現了問題，可能執行到這個地方執行不下去等等問題，這個需要具體分析了。

我 赞成这个说法

walker1020

不知道面试官说的“测试结果” 到底是什么含义。根据我的猜测和理解，应该就是QTP里面的Checkpoint吧。如果是这样，那么 就排除了我在8# 提到的那些情况。我想面试官希望得到的回答是：
  对于Checkpoint 是 Fail的功能点，手动执行一遍。如果确认还是失败，那么这就说明 这是应用程序的Bug;否则，就说明 脚本有问题，需要修改脚本了。

walker1020

这是一种验证方法。不知道是否还有没有别的更简单或更有效的方法？ 希望看到论坛上高手的讨论和回复。