51Testing软件测试论坛

标题: 性能测试工作中你遇到的难点是什么？ [打印本页]

作者: xiong1000 时间: 2005-5-9 21:47
标题: 性能测试工作中你遇到的难点是什么？
目前在公司大规模的集成测试实验室工作。负责公司产品最后的把关。当然了如果没有我们的最后测试报告，产品是不能上线的。

在工作中，我经常遇到需要设置router, switch ,以及那个复杂的netscale.还有weblogic以及oracle和linux设置。个人觉得，在集成度高的环境下面。环境非常的复杂，可能weblogci作为中间，oracle作为数据库，前端语言j2ee有的还是php，但是测试工具确是c++,系统后台有是vc编程。有时候要写shell，有时候还要写vbscript的测试脚本。复杂环境搭建一般都要花费我一个月时间。看书，看书，继续看书。

我想各种各样的环境设置，以及服务器的多种配制是我目前遇到的最大的问题，也是我以后要熟悉的地方。

最近看了51testing 的一些文章，以及其他公司的招聘（汗，了解市场需求）。看来以后还要学习一点自动化测试工具。虽然工具是死的人是活的，话是这么说，不过看来还是要多用一些通用的工具。目前我组都是30以上的员工，偶虽然工作三年了，还算是组中最年轻的（晕）。有公司让偶去，偶想还是在这里先干个几年多多积累一点，然后再出发吧。

不知道其他人工作中的拦路虎是什么？以后有什么目标呢？是否要跳槽呢？？

作者: tacy_lee 时间: 2005-5-10 11:34
性能测试就目前论坛上来看，确实熟悉的人不多，很多人都是在摸索，我倒觉得复杂的测试环境有利于加深自己对系统的了解，只有从上到下的对系统有了解之后才能做起来比较顺手

作者: asks_zhuang 时间: 2005-6-14 17:21
标题: 单纯从实施上，我的一点看法
性能测试的难点：1，实施难/模拟环境难；总不能每次都召集很多人同时发送请求吧？复杂的环境(特别是众多的协议），模拟起来更困难
2，数据收集难，需要收集那些数据？怎么收集？
3，数据分析难,到底那些参数是主要的？怎么分析？

作者: tacy_lee 时间: 2005-6-15 23:12
1。自动化的性能测试工具很多，产生虚拟并发这种基本功能都具备，何须要找一堆的人来模拟
2。数据收集也有很多工具帮你实现，在unix系统下，sar，vmstat能告诉你系统的详细状态，他们收集的数据可以帮你产生曲线图表
3。分析数据确实是难点，但是这个需要你自己有很好的知识体系去完成，非朝夕可得

[ 本帖最后由 tacy_lee 于 2006-8-3 10:35 编辑 ]

作者: xingcyx 时间: 2005-8-25 09:24
我同意楼上的观点。
有了性能自动化测试工具，模拟环境和数据收集都变得轻松了，只不过数据分析这一块确实是比较难，需要大量的实践和丰富的经验积累。

作者: 93326736 时间: 2005-9-5 12:06
顶！路过
:p

作者: fessor21 时间: 2005-9-9 18:53
做性能测试有一段时间了，楼上各位也大家的声心。性能测试是个比较综合的问题。做好性能测试，需要较长时间的积累。

作者: wjpjr 时间: 2005-10-25 17:05
标题: 难呀
我现在做b/s 管理软件的性能测试。开发环境知识太多了，得了结果都感觉无从分析，有些性能测试直接无从下手。真是觉得自己笨喔。

作者: pride 时间: 2005-10-27 19:20
标题: opinion
个人以为虽然自动化测试工具可以给我们提供很好的测试场景，可是在他的文档的整理。还有数据的分析方面也同样会用掉我们很多时间，还有就是他的基本逻辑和测试的策略及方向都是我们自己劳动的结果！
望各位不吝赐教！相互学习

作者: tacy_lee 时间: 2005-10-31 12:11
呵呵我现在倒觉得其实最难的就是模拟用户习惯,如何让你的测试靠近用户习惯,这个太难了,而一个测试的成功与否,这是一个很重要的因素.

作者: 槛外人 时间: 2005-11-25 11:51
标题: 我说两句.
1、模拟用户操作。。。这个可以根据网站的访问日志得出来。这步通常是由我们的SA和架构师来做的。他们收集到到数据后给我们测试人员。

2、设计场景，模拟用户操作。这个呢，就由测试人员来做了，基本上没有难点。

3、执行并产生报告。一般我们要监孔的参数都很简单，就是服务器的 Load和CPU等。。。。

如果发现某个参数的值过大，就要架构师跟我们一起分析了，汗啊，好象我们测试人员做的工作都没有什么技术含量啊。

作者: rickyqiu 时间: 2005-11-27 12:36
标题: 个人观点
最近一段时间一直在做性能测试，试用了很多工具，自己也写了一些工具。就我目前的感觉，最难的是：
确定测试的框架，或者说是测试的场景。这个之所以比较困难是因为需要几个方面的认同，包括RD,management，customer，当然这些都不一定能代表真实环境下的实际状况。也有可能在lab测出的性能很好，到客户那里很差。因为是大的框架，所以希望能早点确定，否则后面改动的话前面很多是白做。
这里面可能还涉及一个问题，就是业界有没有关于现在所做的测试的一套标准做法或者数据样本之类的，如果有TPC-C之类的公认做法就简单了。否则会常想一个问题，这样做是否比较真实或者得到别人（包括竞争对手）的认可。因为做产品要公布性能数据，所以要考虑这些问题。
如果这些东西定下来了，具体怎么去实现，我觉得还不是很难，因为工具很多，商业的，free的，还有公司自己的，甚至自己写的，目前还没有遇到想实现什么而做不到的，当然有时effort会比较大。
不同意见，欢迎拍砖。

作者: tacy_lee 时间: 2005-11-27 20:48
关于场景，
对于产品，如果有相应的产品可以横向对比，比如oracle,db2.那么更多的是benchmark testing，这种测试著名的就是spec ，tpc标准。
对于具体应用，更多的场景来自用户习惯，如果是一个新的上线系统，这个更多没有好的办法，靠对应用的理解和大家经验，这种个人觉得不会有标准。

测试的难点不是执行，而是设计。

作者: qiuyangzh 时间: 2005-11-27 21:07
分析数据，调优系统，有时候是比较麻烦的工作

作者: tacy_lee 时间: 2005-11-28 10:53
具体到分析数据这个是细节的问题了相对来说虽然也不好做但还是容易一点

作者: rickyqiu 时间: 2005-11-29 15:43
同意tacy的看法，“测试的难点不是执行，而是设计。” 概括得很好！

作者: gongliang 时间: 2006-1-17 11:43

原帖由 xingcyx 于 2005-8-25 09:24 发表
我同意楼上的观点。
有了性能自动化测试工具，模拟环境和数据收集都变得轻松了，只不过数据分析这一块确实是比较难，需要大量的实践和丰富的经验积累。

同意！

我觉得在这方面是我目前最大的困难！

作者: 测试有前途 时间: 2006-1-28 09:10
个人觉得性能测试完成后衡量的标准很难...虽然开发人员在设计系统的时候规定好了系统能处理的量但是在测试的时候测试所用的服务器和商用的服务器配置不同很难换算性能测试的量这是不是经验的问题呢？？

作者: linkage 时间: 2006-2-20 22:57
楼主考虑的有些过于复杂，既然你要做性能测试，那么我们来简化一下。
1.模拟用户操作以查找系统可能存在的性能瓶颈。那么既然是模拟用户操作，用户看到的是什么？是你的前端界面，用户管你后台用的是unix还是windows，管你数据库用的是oracle还是sybase，管你开发工具用的是jsp还是php？他们只看界面。那么我们就从界面入手，利用工具软件模拟用户操作，监控数据库/中间件/Web服务器等等的相关性能指标。
2.通过相关性能指标的异常，可以基本确定瓶颈在数据库/中间件/Web服务器/网络等问题上(网络的问题一般很少)，然后再去针对具体的产品进一步进行测试，而不是象楼主那样先去把所有的东西都了解个遍(测试环境搭建应不属于性能测试范畴，而关键是测试场景的设计)

作者: degone 时间: 2006-3-5 21:34
恩，楼上的说的有道理。

作者: lidandan 时间: 2006-4-5 09:58
标题: 需要经验人的性能指标
我找不到指标,好惨

作者: Bush8336 时间: 2006-4-5 11:54
性能指标最初是根据用户需求来定的，然后由架构师量化为具体的数据：响应时间，负载数，数据量等，经过审核后就变成测试的指标了。偶发下言，欢迎批评：）

作者: zyy 时间: 2006-4-6 18:40
标题: 性能测试工作中你遇到的难点是什么？
性能测试中确实存在不少问题，依靠自己有些很难解决，这就需要在一个先进的方法论的指导下，配合一些工具的使用，来使自己的工作更加顺利，比如强调自动化的重要性，采用自动化方式可以创建重复的测试过程并迅速报告应用代码的质量。只有自动化方式才能保证正确地遵循测试过程，并且保证准确和一致地测试应用组件。
http://www.innovatedigital.com/htm_speek/Index_speek_30.shtml

作者: 书剑生 时间: 2006-7-24 16:42
如何快速适应变更？
如何降低测试构件的耦合度？

作者: SuBOA 时间: 2006-7-28 15:28
性能测试是很复杂的一块啊

作者: reeds 时间: 2006-8-14 11:38
正需要这方面的资料

作者: 冷月 时间: 2006-11-1 16:13
标题: 个人觉得目前对我来说最难的还是分析
个人觉得目前对我来说最难的还是分析，我现在被几个指标的值彻底搞晕了！想它们之间的联系，越想越晕，甚至开始推翻以前对那个指标的理解，真是看的越多越糊涂啊。。。。

作者: liangjz 时间: 2006-11-24 20:09
(1)有效模拟生产环境压力。比如生产环境的机器远比测试环境多，并且作了负载均衡。

(2) 模拟用户行为。一个大型系统往往有多个重要业务。这个业务各占多少比率在未上线前是未知的

(3) 系统调优。通过unix vmstat/ sitescope等工具监控，定位到粗粒度的问题相对难度不算很大，但开发或者修改配置调整的过程就相当需要经验了

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)