web系统测试方法，望各位坛友给些建议(在线等)

cjycjw

本人是计算机应用技术专业的，本科四年已经有了一定的计算机理论基础，但是没有什么很实际的项目经验，研究生业课题是web系统测试（大概方向不是具体的题目），主要的测试对象是一个桌面管理系统，b/s架构，该系统采用的技术有j2ee,web service,soap,xml,xslt,extjs,spring,hibernate等，服务器端采用j2ee+webservice，通过web访问，被管理的客户端采用C/C++/C#开方，客户端没什么界面，几个设置选项，主要是挂起了几个自定义的服务，（可能实现了很多东西）。大概功能模块见下方。本人研1刚读完，现在刚接触测试1个月，之前在学校不是做这个课题，现在在公司做公司的课题，学了一个月的测试，了解了测试的基本原理和方法，可能不够深入和全面，测试工具太多，开始的时候不知道学什么工具，感觉工具太多了，也不知道到时候需要什么工具，第一个月就学习了loadrunner和qtp的基本的应用，了解了录制脚本回放等是怎么回事，对测试的术语有了形象的理解。之前部门总监叫我学一个开题报告，我参照别人的写的，写的比较笼统。总监说写的很不好不知道我到底要做什么。他说如果他做的话：会先量化指标，然后找方法，最后学工具，他说我做的这个系统可能以后可以挂到网上出租服务。我听的不太懂，目前对测试了解的还不多，测试指标我现在还没看到有很具体的测试指标，都是大概的cup,内存，磁盘等指标，各个系统指标不一样，也没有看到参考样例。
不知道坛友有没有可参考的样例？
这一周想学学单元测试，但不知道这样的系统的用什么单元测试工具，网上找了webservice测试工具，说soapui很好用，看了点材料，没看太懂，目前soap，xml只知道个大概，具体怎么用不太清楚，没用过。不知道各位坛友有没有什么好建议，这个系统该用什么自动化测试工具，性能测试工具和单元测试工具呢？ 该从哪里入手比较好呢？ 感觉这个web测试系统跟一般的不太一样，该怎么进行测试呢？期待你的回复，不胜感激！
基本管理
    远程监控
    系统配置
    桌面策略
    消息管理
    电源控制
  安全管理
    进程管理
    文件安全
    外设安全
    邮件安全
    聊天监控
    打印监控
    WEB安全
    微软补丁
  部署管理
    软件分发
    复制文件
    系统镜像
    XPe补丁
  作业管理
  资产管理
  报警管理
  准入控制
    身份认证
    检测策略
    隔离与修复
    选项设置
    交换机与拓扑
  公共管理
    用户管理
    设计管理
    日志管理
    Agent升级
    其他管理
    性能监控

[ 本帖最后由 cjycjw 于 2010-8-4 17:56 编辑 ]

zhangting85

1.首先你得明确，你这个测试，是为了什么目标，比如说，为了找到重要的bug，为了评估你这个系统现在是可以直接挂到网上去出租服务还是需要再做大量的工作，为了确保系统和需求说明书的一致性，为了减少这个系统引起的安全风险等等。你先明确这一点，你想在测试中发现什么，证明什么。
2.你得确定测试策略，比如做基于需求说明书的测试，做安全性方面的测试，请用户协助测试看看程序是否能被简单的学会使用，用户友好性有没有问题，测试你的系统的反应速度和对其他应用的影响，测试系统在遇到各种外部影响，比如中断，磁盘空间不足等等情况下是否出现致命问题等等。从理论上来说，你在第一阶段确定了你的几个主要目标，那么确定测试策略只要按部就班就可以了。
3.是测试的依据问题，你必须有一个标准判断你的系统的各个功能怎样才算通过测试，比如与需求说明文档中描述一致，符合XXXX国际标准国家标准，与同类产品相同的功能能有类似的结果，又或者你的性能指标是多少多少，操作系统兼容性包括哪些系统，等等这个问题也是发散式的，但是你在确定测试策略之后，按照对应的策略去找依据就可以了。
4.然后一个要解决的问题是，你这个系统要测到什么程度才算测完。比如说，单元测试要做多少代码覆盖率，要不要路径覆盖，要覆盖多少路径，性能测试要测几个场景，要测几个性能指标，要不要考虑兼容性，要考虑多少兼容性，安全性测试要不要做，要做到什么程度，黑盒测试要不要做，要覆盖多少功能点。
5.接下来就是设计你的测试，按照前面定下的目标，策略，依据，完整度标准，你来设计一系列的测试，当然这里你可以用手工，也可以用工具实现，可以做白盒可以做自动化可以做性能，都是根据前面定的东西来。工具只是很小一块东西，虽然看上去很有技术含量，但也仅此而已了。如果你不解决前面的问题，工具用得再好也没用。
6然后执行测试，记录bug，跟踪bug，出报告都展开讲又是很长一篇文章了，善用搜索引擎，建议你翻查国外的文献，远远比国内文献多的多的多。至于你的具体问题具体到这个系统要怎么测，你就得自己查资料了，原理上了解了做起来是不难的。

msnshow

主要得看你测试的目标是什么

cjycjw

总得说来就是根据需求确定测试目标。

这个系统基本还是找bug，找瓶颈然后优化。

还有一点不是太明白就是，这个系统大概要怎么测，因为这个系统是通过web服务系统管理所有客户端。如果要功能测试实现方式怎么实现，好像不能直接用工具，如果用工具访问这个web系统的话，没有客户端的话，好像所有功能都不能实现吧？是不是要录制两种脚本，一个客户端和服务器之间通信，一个是通过浏览器访问web系统的。这样两个脚本又要怎么同时协同工作，而且客户端没有操作界面又该怎么录制，即使可以录制的话，又该怎么验证是否通过测试呢？

cjycjw

本人有很好C++面向过程编程基础，程序设计比较好，精通算法数据结构，个人还是比较喜欢编程，就是缺乏项目经验！对于这样系统测试方向大概应该是怎么样呢？实现方式大概怎么样？

[ 本帖最后由 cjycjw 于 2010-8-4 23:54 编辑 ]

zhangting85

我不明白为什么你觉得测试脚本一定是录制的。
首先建议你做单元测试，每个unit的输入输出是否符合预期，如果你单元测试做得好，这一做就可以发现80%左右的bug。工具Xunit里随便挑。测试代码全部是写的，不用录制。
然后你既然有服务器端和客户端你可以考虑做接口测试，直接调服务器端的接口，看能否返回正确的数据。
接下来功能测试是必不可少的，你需要列出你系统有的功能，一个一个测。不得不提醒你现在的自动化测试技术判断测试通过不通过仍然是依靠断言，你不能让程序以人工智能的形式来判断测试是否通过。理论上说，你通过写测试代码让浏览器访问你的服务器，再判断返回值然后判断你的操作系统里对应地方的设置是否符合预期是可以的。但假如你写出了很合理的断言，也很难保证测试代码是否会按照你的预期执行，因为操作系统的复杂性，你可能得到很多虚警。另外有一些问题你很难用程序判断，比如电脑突然发出嘟嘟声，“怎样判断测试是否通过”是一个自动化测试领域一直存在的核心问题。你可以查阅相关技术文献。自动化测试脚本的heurisitc problem本身就是一个很复杂的研究课题了。你需要自己判断你的系统是否适合执行自动化的黑盒测试。现在自动化黑盒测试领域在技术上仍是不足以应对所有类型的系统的。假如自动化不可行，就需要手动执行测试。
功能测试之后是复杂的场景测试来寻找一些隐蔽和复杂的问题，同样你无法自动化的话只能手动执行。
其他的测试技术比如组合测试，状态测试，压力测试，用户测试，回归测试等等是否需要我就不清楚了，你得根据你的系统有一个自己的判断。
性能测试上不能给你什么建议，我目前尚未涉及这一领域。

[ 本帖最后由 zhangting85 于 2010-8-5 10:33 编辑 ]

cjycjw

应该主要还是单元测试和接口测试！