性能测试工作中你遇到的难点是什么？

xiong1000

目前在公司大规模的集成测试实验室工作。负责公司产品最后的把关。当然了如果没有我们的最后测试报告，产品是不能上线的。

在工作中，我经常遇到需要设置router, switch ,以及那个复杂的netscale.还有weblogic以及oracle和linux设置。个人觉得，在集成度高的环境下面。环境非常的复杂，可能weblogci作为中间，oracle作为数据库，前端语言j2ee有的还是php，但是测试工具确是c++,系统后台有是vc编程。有时候要写shell，有时候还要写vbscript的测试脚本。复杂环境搭建一般都要花费我一个月时间。看书，看书，继续看书。

我想各种各样的环境设置，以及服务器的多种配制是我目前遇到的最大的问题，也是我以后要熟悉的地方。

最近看了51testing 的一些文章，以及其他公司的招聘（汗，了解市场需求）。看来以后还要学习一点自动化测试工具。虽然工具是死的人是活的，话是这么说，不过看来还是要多用一些通用的工具。目前我组都是30以上的员工，偶虽然工作三年了，还算是组中最年轻的（晕）。有公司让偶去，偶想还是在这里先干个几年多多积累一点，然后再出发吧。

不知道其他人工作中的拦路虎是什么？以后有什么目标呢？是否要跳槽呢？？

tacy_lee

性能测试就目前论坛上来看，确实熟悉的人不多，很多人都是在摸索，我倒觉得复杂的测试环境有利于加深自己对系统的了解，只有从上到下的对系统有了解之后才能做起来比较顺手

asks_zhuang

性能测试的难点：1，实施难/模拟环境难；总不能每次都召集很多人同时发送请求吧？复杂的环境(特别是众多的协议），模拟起来更困难
2，数据收集难，需要收集那些数据？怎么收集？
3，数据分析难,到底那些参数是主要的？怎么分析？

tacy_lee

1。自动化的性能测试工具很多，产生虚拟并发这种基本功能都具备，何须要找一堆的人来模拟
2。数据收集也有很多工具帮你实现，在unix系统下，sar，vmstat能告诉你系统的详细状态，他们收集的数据可以帮你产生曲线图表
3。分析数据确实是难点，但是这个需要你自己有很好的知识体系去完成，非朝夕可得

[ 本帖最后由 tacy_lee 于 2006-8-3 10:35 编辑 ]

xingcyx

我同意楼上的观点。
有了性能自动化测试工具，模拟环境和数据收集都变得轻松了，只不过数据分析这一块确实是比较难，需要大量的实践和丰富的经验积累。

93326736

顶！路过
:p

fessor21

做性能测试有一段时间了，楼上各位也大家的声心。性能测试是个比较综合的问题。做好性能测试，需要较长时间的积累。

wjpjr

我现在做b/s 管理软件的性能测试。开发环境知识太多了，得了结果都感觉无从分析，有些性能测试直接无从下手。真是觉得自己笨喔。

pride

个人以为虽然自动化测试工具可以给我们提供很好的测试场景，可是在他的文档的整理。还有数据 的分析方面也同样会用掉 我们很多时间，还有就是他的基本逻辑和测试的策略及方向都是我们自己劳动的结果！
望各位不吝赐教！相互学习

tacy_lee

呵呵 我现在倒觉得其实最难的就是模拟用户习惯,如何让你的测试靠近用户习惯,这个太难了,而一个测试的成功与否,这是一个很重要的因素.

槛外人

1、模拟用户操作。。。这个可以根据网站的访问日志得出来。这步通常是由我们的SA和架构师来做的。他们收集到到数据后给我们测试人员。

2、设计场景，模拟用户操作。这个呢，就由测试人员来做了，基本上没有难点。

3、执行并产生报告。  一般我们要监孔的参数都很简单，就是服务器的 Load和CPU等。。。。

如果发现某个参数的值过大，就要架构师跟我们一起分析了，汗啊，好象我们测试人员做的工作都没有什么技术含量啊。

rickyqiu

最近一段时间一直在做性能测试，试用了很多工具，自己也写了一些工具。就我目前的感觉，最难的是：
确定测试的框架，或者说是测试的场景。这个之所以比较困难是因为需要几个方面的认同，包括RD,management，customer，当然这些都不一定能代表真实环境下的实际状况。也有可能在lab测出的性能很好，到客户那里很差。因为是大的框架，所以希望能早点确定，否则后面改动的话前面很多是白做。
这里面可能还涉及一个问题，就是业界有没有关于现在所做的测试的一套标准做法或者数据样本之类的，如果有TPC-C之类的公认做法就简单了。否则会常想一个问题，这样做是否比较真实或者得到别人（包括竞争对手）的认可。因为做产品要公布性能数据，所以要考虑这些问题。
如果这些东西定下来了，具体怎么去实现，我觉得还不是很难，因为工具很多，商业的，free的，还有公司自己的，甚至自己写的，目前还没有遇到想实现什么而做不到的，当然有时effort会比较大。
不同意见，欢迎拍砖。

tacy_lee

关于场景，
对于产品，如果有相应的产品可以横向对比，比如oracle,db2.那么更多的是benchmark testing，这种测试著名的就是spec ，tpc标准。
对于具体应用，更多的场景来自用户习惯，如果是一个新的上线系统，这个更多没有好的办法，靠对应用的理解和大家经验，这种个人觉得不会有标准。

测试的难点不是执行，而是设计。

qiuyangzh

分析数据，调优系统，有时候是比较麻烦的工作

tacy_lee

具体到分析数据 这个是细节的问题了 相对来说虽然也不好做 但还是容易一点

rickyqiu

同意tacy的看法，“测试的难点不是执行，而是设计。”  概括得很好！

gongliang

原帖由 xingcyx 于 2005-8-25 09:24 发表
我同意楼上的观点。
有了性能自动化测试工具，模拟环境和数据收集都变得轻松了，只不过数据分析这一块确实是比较难，需要大量的实践和丰富的经验积累。

同意！我觉得在这方面是我目前最大的困难！

测试有前途

个人觉得 性能测试完成后 衡量的标准很难...虽然开发人员在设计系统的时候 规定好了系统能处理的量 但是在测试的时候 测试所用的服务器和商用的服务器配置不同 很难换算性能测试的量 这是不是经验的问题呢？？

linkage

楼主考虑的有些过于复杂，既然你要做性能测试，那么我们来简化一下。
1.模拟用户操作以查找系统可能存在的性能瓶颈。那么既然是模拟用户操作，用户看到的是什么？是你的前端界面，用户管你后台用的是unix还是windows，管你数据库用的是oracle还是sybase，管你开发工具用的是jsp还是php？他们只看界面。那么我们就从界面入手，利用工具软件模拟用户操作，监控数据库/中间件/Web服务器等等的相关性能指标。
2.通过相关性能指标的异常，可以基本确定瓶颈在数据库/中间件/Web服务器/网络等问题上(网络的问题一般很少)，然后再去针对具体的产品进一步进行测试，而不是象楼主那样先去把所有的东西都了解个遍(测试环境搭建应不属于性能测试范畴，而关键是测试场景的设计)

degone

恩，楼上的说的有道理。