[你问我来答第1期]：如何做好系统测试（已结束）

fangfangcome

原帖由 Jackc 于 2010-6-28 15:27 发表
你们在lay第一版的时候就打算开始做驱动层的测试？

出发点很好，不过工作量比较大哦~不稳定的硬件结构会带来不少的意外，对于精益求精的企业来说很好，但是对于以控制成本的企业来说就是灾难了……

如果确实打 ...

现在是要做芯片验证，公司自主研发了芯片
验证芯片：目前，包括音频播放、电压采样、图片操作的子模块都已经验证了，于是设计了一个场景，就是让这几个子功能同时运行起来。现在想验证他们同时运行时的情况，找出BUG，该从哪些方面考虑呢？还有就是，真对测试代码，因为测试代码是别人写的，我怕是本身测试代码就有问题，那么该怎么确定是由硬件引起的BUG呢？

qiguojie

这几天家里有事，耽误了大家的提问，说声抱歉。

下面继续回答大家的提问。

qiguojie

关于性能测试并发用户数的问题

齐老师，你好。请问怎样明确测试的结果满足系统上线的要求，例如我怎样去转换测试的目标系统支持多少并发用户数就能满足当前的性能要求？这里面有没有一个固定的计算公式？谢谢！

答：
对于具体系统上线时候的并发需求，不同的系统肯定不一样。比如链接较多的门户网站系统和单一的用户注册页，前者链接较多压力分散，后者功能单一压力集中，所以需要具体问题具体分析（尝试并学会分析用户行为），然后再制定对应的测试策略。

测试系统支持多少并发用户数，也就是性能目标，这个需要考虑几方面的实际情况，综合分析得出，我这里还真没有万能的公式，瀑布汗一下。
2年前我曾经写过一个性能测试需求的获取博客，你可以参考一下：http://www.51testing.com/index.php?uid-6343-action-viewspace-itemid-16336


[ 本帖最后由 qiguojie 于 2010-6-30 16:06 编辑 ]

qiguojie

如何做好系统测试>——提问

Hi,齐兄，我最近有个比较心烦的问题：
测试部门整体绩效如何有效的评估？
有哪些具体的数据能为测试部的业绩提供有效支撑呢？

答：
测试部整体绩效很不好评估，上级领导也没有要求（测试的工作在他们心中仍然不是很重要的），我也没有太具体的经验，那么和你交流一下想法吧。

既然你需要具体的数据，那么我们从这里说起。测试部门工作产出的数据可以分两种，一是量化的工时、文档数、用例数、缺陷数，二是质量控制的效果，就是经过测试产出的项目的质量情况。那么我认为和领导汇报业绩的时候，首先肯定是我们做了多少工作，然后我们工作的成果是产品上线或者提交用户后，单位时间内出问题的情况

qiguojie

请教一个问题，您认为系统测试在工作时间压缩的很短时，如何进行？您认为哪方面更重要，更值得投入有限的时间去测试？
（CS结构的应用，是那种非常注重用户体验并且竞争激烈的游戏程序，系统测试时发现的某些问题，甚至要设计上返工，而且时间又有限。请问这样的测试，您认为在整个测试过程中，哪些节点上更重要？）
另外问一个关于loadrunner的问题，sockets协议下录制的脚本，data.ws文件会记录下包内容，但是很多都是乱码或“\x11\x00\x00”类的显示结果，请问这是什么编码？按ascii码转译无法得到正确的结果，故有此问，如果先生了解的话，请详细的解答一下，不胜感激！
奇先生和诸位工作人员辛苦了！
很喜欢这个活动，祝越办越好！

答：
第一个问题可以参考6月17日我的回答，抓重点，解决主要矛盾。
“设计返工、时间有限，测试中哪些节点上更重要”，这个还是我们所说的测试进入越早越好的问题，发现问题发现的越早，损失就越小。

第二个问题sockets协议录制的脚本，来回的数据为什么都显示乱码，这个其实非常容易理解，所有的客户端和服务端不是采用通用协议进行通讯的话，数据传输肯定都要加密，否则包被别人捕获岂不是什么都知道了？

qiguojie

齐老师，您好！
我是一个应届毕业生，在一家小型软件公司做测试人员，因为人少，没有专业测试人员，我们只是手动测试他们编的程序是否有错误，老板叫我们自己研究测试工具，所以想请教您，对于一个做web开发的小公司，适合用什么测试工具？什么bug管理软件？ 谢谢！！

答：
首先感谢Christina_LL同学的帮忙回答，我这里就接着你最后的问题提出我建议吧。其实我觉得你们目前最大的问题不是自动化或者性能测试工具，而是需要一个规范流程管理方案，规范你们的工作流程，你可以从这方面入手去深入了解一下。
如果你还是强调要用工具，我建议你去安装一个TestDirector，然后从测试需求到测试执行、缺陷汇报的流程都走一遍，肯定满足你的需求。

qiguojie

如何有效的做好接口测试

齐老师，您好！
请问关于接口测试该如何控制，特别是接口由不同的测试小组（测试组A、测试组B、测试组C）来完成的时候，测试该如何有效的控制，保证质量呢？除了小组间的协调沟通、测试用例的设计，还应该有哪些地方需要注意。

答：
我感觉你的问题是想问，如果不同的测试小组测试范围交叉了，如何处理冲突，从而消除对工作质量的影响。出于对你们具体情况的了解程度有限，只是给你一些建议，看看是否能帮到你吧：
首先，一定要划分明确的测试范围，避免三不管的现象。
对于交叉的测试范围，要求所有涉及的单位都要负责，这里要注意协调沟通，避免bug的重复汇报。
执行交叉测试，在每一轮测试完成，互换测试负责的范围，这里要注意测试用例的编写规范和测试用例的维护及时。

qiguojie

LOADRUNNER录制批处理程序启动的应用
如何使用LOADRUNNER录制批处理程序启动的应用？？？？？
如何录制脚本？？？该选择什么协议？
尽量详细一点~~~~多谢

答：
你说的我没弄明白，又要考察我的理解能力吗？汗，猜测一下，你们的应用使用批处理启动，既然还使用lr录制，那么肯定是客户端程序。录制脚本我就不知道了，除非你告诉我你们这个批处理的实现到底是啥。

qiguojie

将系统中静态的页面与动态的页面分开管理，以减轻系统的压力，这样做会不会给系统带来风险？

答：
不知道你所说的风险是从何而来，是安全风险呢还是性能风险？好吧，我又在猜了，真是杯具啊。
强大的CMS系统，可以完全支持页面静态化，当然静态的页面由于没有交互，所以展开非常快，对性能的提升很大；另外，静态化的页面有利于搜索引擎的收录，据传说是收录率比动态页面高，不过我没做过搜索的测试，不是很清楚。
说了几句废话，算是对你这个杯具问题的抗议吧。

qiguojie

齐老师你好：
我现在负责测试一个社区网站，和新浪有些类似。
需要从原型开始提取测试需求、编写测试计划，可是该网站很多的页面都是聚合页面，就是调用其他模块的数据显示。
请问一下，对于类似这类网站，有什么好的方法能够快速有效的提取有用的测试需求，写出最有效的测试用例。
谢谢

答：
其实你这个是一个测试范围确定的问题，原型拿到以后，先结合业务分析出一个测试需求分析文档，总结疑点后和需求方和开发方交流，然后确认测试范围出测试计划，这个过程需要来回几轮才行。

其实聚合过来的模块，也是需要测试一些东西的，最平常的聚合效果肯定要列入测试范围。

qiguojie

齐老师，你好，很荣幸可以向您提问
我是刚进测试这个行业，现在在公司就是做黑盒测试的，刚来到公司很迷茫，不知道要怎么办，就是负责人让我做什么我就做什么，有时测试了很久也发现不了问题，是不是自己的测试的思路不正确或者是还没有掌握其中的技巧，该如何提高自己测试的能力，有什么方法吗，希望您可以为我解开疑惑，谢谢！

答：
提高能力的方法就是学习，业务、技术都深入学习，然后在工作中实践学习到的知识，进而掌握。

测试发现不了问题，因为对你实际情况了解很少，我也不好说，建议你多用一下换位思考的方法，假设你是最终用户会怎么样，很容易抓出需求和易用性的问题。一定要坚信，问题一定存在和隐藏着哈。

另外，千万不要有黑盒测试简单的想法，想做好了非常不容易。

qiguojie

xiaoli_javaY：


程序员转测试
老师能给点起步学习测试的资料么、很茫然  不知道怎么入手、 以前学的是编程




span0513：


做测试从哪下手？

您好，我刚转行做测试，之前是做开发的，对测试了解很好。现在转测试，不知道从哪里下手。这么多工具也不会用，让我很迷茫。


答：
最开始的时候，大家都是新手，也是什么都不会。你现在对测试了解很好，而且已经成功入职测试工作，那么最简单的就是从现有工作入手，逐步深入了解学习当前测试工作的方方面面的知识；待当前工作涉及的知识掌握了以后，再逐渐学习其他的，会事半功倍。当然，如果想短期内有所提高，去参加一些测试培训也是不错的选择，可以很系统的学习很多知识，不过很费米是真的。

另外，工具不会用也没什么，我认识很多人也不会用工具，照样很牛；我只深入学习过几款测试工具（lr\wr\tc\td），其他的测试工具我通常都是拿来看看，了解了工具基本能帮我们做什么就可以了。

至于你们要的测试资料，可以到【软件测试新手上路】版块发帖求助，那里的版主都很负责，资料很多哈。

qiguojie

请齐老师指导：
在性能测试方面，比如一个大型的web系统，做并发：
1. 虚拟用户与实际用户的比例大概是多少？根据什么来测算呢？ 比如需要支撑10万用户，大概需要多少个VU呢.
2. 每个虚拟用户的运行时间怎么计算？也就是脚本的运行时间。

答：
1.大型web系统，需要了解部署架构和技术实现架构，比如你要支撑10w用户，实际部署在负载均衡后面的是10台服务器，那么每台根据实际情况，我们只需要1w用户规模的测试即可。至于比例为多少，在我们可实现的情况下，比例就是1:1，测10w就上10w vuser，因为我们就是要尽量模拟真实的用户场景。如果我们无法提供10w的vuser，那么就需要通过分析计算，调整脚本和负载生成计划，进而达到意义上的10w用户的负载。

2．虚拟用户的运行时间，那肯定是要分析用户真实操作情况，尽量模拟真实的用户操作场景，用户用了多久，我们就用多久。

qiguojie

今天我拿新浪网测试，从点击“天气”链接，到页面完全出来，IE体验只有3、4秒，可用LR却有7、8秒，是怎么回事啊？20个并发要16秒，还有6个失败，提示的错误“Failed to connect to server "44.adsina.allyes.com:80": [10060] Connection timed out”。
新浪网每天有这么多人访问，性能不应该会这么差吧，而且用LR并发测试时，我也用IE访问并不慢，怎么会这样？已经苦恼好几天了，不得要领，希望齐老师能解答

答：
这个问题比较好回答，弄清楚“44.adsina.allyes.com:80”这个服务是什么，你就知道答案了。其实你录制的web页里，不只是只有一个服务器的返回，可能包含多个服务器的返回然后组成了一个整体页面在浏览器显示出来，我管这类网页叫聚合类网页。通常门户网站的聚合类网页里，图片可能来自专有的图片服务器，框架（比如logo导航和下面的声明这类）可能是js写的来自专门的服务器，而内容则来自cms发布后保存网页的不同的服务器。你这个是网页中的广告块（估计是js的），要从广告服务平台的服务器（看地址明显是好耶网）上请求，而广告服务器出了问题，你这里就会报错。我在以前做类似测试的时候，都是录制脚本后精简脚本，你可以访问我的博客文章了解一下，给你个传送门。【精简你的loadrunner脚本】http://www.51testing.com/index.php?uid-6343-action-viewspace-itemid-16392
至于LR录制后的脚本响应时间为什么会多呢？我们都知道，LR通常都是忽略cache的，那么每次访问cache部分都需要重新请求，所以自然会比总是应用cache的IE慢；当然，也可能是其他原因导致的，那么我们就需要具体问题具体分析了哈。

[ 本帖最后由 qiguojie 于 2010-6-30 16:05 编辑 ]

qiguojie

界面测试、易用性测试、可用性测试

齐老师，你好！对于界面测试、易用性测试、可用性测试三者之间的区别，不清楚，帮我解答下，最好能列出每个测试的关注点，谢谢啦！

答：
界面就是对用户交互界面元素的测试，比如显示内容、图形、导航以及风格、颜色等。

易用性就是是否容易操作和使用，比如快捷键、tab焦点等，当然所有业务功能的简便操作也是必要的。

可用性测试是用户级测试，比如在网站原型做出来以后就可以组织典型用户参加可用性测试，或做出一个功能就组织一次，这样可以及时知道用户使用中的问题，及时调整，避免风险。

qiguojie

Christina_LL的问题已经转至【每周一问】。

qiguojie

提问：

请教前辈：
目前公司刚开始注重项目管理这一块，最近打算成立QA小组，我一直在公司从事的是QC方面的工作，对于一个QA的新人应该注意些什么能更好的做好项目管理并协调项目组的工作，在项目管理QA的工作工您之前遇到过什么障碍？是如何解决的？（感谢你的分享，呵呵！）
1、
如何做一个合格的QA又不冒犯同事间的关系；
2、
如何去让项目组成员接受每天的项目进度跟踪和项目进度压力；
3、
做为一个QA新人如何规划项目各阶段的时间控制并保证按时按量按质的完成项目

答：
不知道具体情况不好说，给你几点建议吧：
在做什么事之前，一定要和所有相关的人说清楚，为什么要这么做？让所有人知道和了解你的工作内容，这样可以减轻他们的误解。
刚开始改革一些东西，肯定会有阵痛，所有人都会直接给你压力，我建议你抱住领导的大腿，搬出对所有人都有影响力的领导来顶缸，只说你是一个执行者。

最后一个问题有点大，我就不回答了哈。

qiguojie

质量管理问题

专家好！
我们公司现在正处在质量规范建设的起步阶段，老总牵头，但实际的工作是由我开展，中间有些疑惑，请指教：
1、这是一项跨部门协作的工作，建立怎样的工作模式和机制，使得各部门的头头能够配合，使我能够在初期调研、现有制度、模板收集阶段，能够及时有效的展开工作
2、老总想对开发人员和测试人员的工作质量进行评估，但开发人员说他们的工作结果受多方面影响（如前期设计不全、时间紧任务重等），无法评估。你曾经采集过有效的对开发人员和测试人员工作质量评估的指标吗？

答：
第一个问题，我只是建议开始的时候，最好是要求多方参与，让各部门的头头都参加进来，这样本来是你的事情，变成你主导、他们参与的属于大家的事情，抵 抗（中间有个空格没办法，连续自动变成**，汗一个~~）情绪会降低。

第二个问题，开发那边的工作我实在没有经验，测试的可以参考我前面回答如何考核测试人员的。

[ 本帖最后由 qiguojie 于 2010-6-30 16:34 编辑 ]

qiguojie

齐老师，你好！很高兴能得到你的指点！
我一直都很迷惑，怎样才能做好一个测试主管？怎么样才能算一个好的测试主管？
很希望能得到你的指点！

答：
以前总是听朋友说，大公司做事，小公司做人。在这里只是给你一些建议吧，每个人的职业发展都是很难复制的。

在这里说测试主管这个管理人员职位，那么我再提一个，对上级做事，对下级做人。做好本职工作的同时，做好上级领导交给你的每份工作，并及时反馈；同时，对下安排工作的时候，一定要尽量合理，并充分考虑他们的意见，在平时和他们打成一片。

作为一个好的测试管理人员，那么首先你一定要有指导下属的能力，因为国内的测试的管理者目前还是技术为主、管理为辅的比较多。

注意和上级以及下级的交流，多交流才能更多的知道他们的想法，才能让自己做事的时候考虑到更多的东西。

qiguojie

后记：

6月16日之前的问题，仍然有一些我没有回答，原因如下：
我不擅长的领域问题（自动化和某些工具）
后面已经有人回答并且解决
还有我也不知道怎么做的（能力有限，期待下次有大拿出来，请继续提问哈）

这次的经历，对我自己来说也是一个很大的提高，接触了各种各样的问题，有些问题我也没有仔细想过、总结过，借这个机会我也提升了一把哈，在这里谢谢51testing和默默同学，期待下个月活动依然顺利，并且让大家的问题都能解决（我也有问题呢，哈）。

我平时一般出没在【系统测试】、【Loadrunner】和【灌水乐园】，如果有想继续交流的可以关注下。

大家再见。