性能测试工作中你遇到的难点是什么？

xiong1000

目前在公司大规模的集成测试实验室工作。负责公司产品最后的把关。当然了如果没有我们的最后测试报告，产品是不能上线的。

在工作中，我经常遇到需要设置router, switch ,以及那个复杂的netscale.还有weblogic以及oracle和linux设置。个人觉得，在集成度高的环境下面。环境非常的复杂，可能weblogci作为中间，oracle作为数据库，前端语言j2ee有的还是php，但是测试工具确是c++,系统后台有是vc编程。有时候要写shell，有时候还要写vbscript的测试脚本。复杂环境搭建一般都要花费我一个月时间。看书，看书，继续看书。

我想各种各样的环境设置，以及服务器的多种配制是我目前遇到的最大的问题，也是我以后要熟悉的地方。

最近看了51testing 的一些文章，以及其他公司的招聘（汗，了解市场需求）。看来以后还要学习一点自动化测试工具。虽然工具是死的人是活的，话是这么说，不过看来还是要多用一些通用的工具。目前我组都是30以上的员工，偶虽然工作三年了，还算是组中最年轻的（晕）。有公司让偶去，偶想还是在这里先干个几年多多积累一点，然后再出发吧。

不知道其他人工作中的拦路虎是什么？以后有什么目标呢？是否要跳槽呢？？

liangjz

(1)有效模拟生产环境压力。 比如生产环境的机器远比测试环境多，并且作了负载均衡。

(2) 模拟用户行为。 一个大型系统往往有多个重要业务。这个业务各占多少比率在未上线前是未知的

(3) 系统调优。通过unix vmstat/ sitescope等工具监控，定位到粗粒度的问题相对难度不算很大，但开发或者修改配置调整的过程就相当需要经验了

冷月

个人觉得目前对我来说最难的还是分析，我现在被几个指标的值彻底搞晕了！想它们之间的联系，越想越晕，甚至开始推翻以前对那个指标的理解，真是看的越多越糊涂啊。。。。

reeds

正需要这方面的资料

SuBOA

性能测试是很复杂的一块啊

书剑生

如何快速适应变更？
如何降低测试构件的耦合度？

zyy

性能测试中确实存在不少问题，依靠自己有些很难解决，这就需要在一个先进的方法论的指导下，配合一些工具的使用，来使自己的工作更加顺利，比如强调自动化的重要性，采用自动化方式可以创建重复的测试过程并迅速报告应用代码的质量。只有自动化方式才能保证正确地遵循测试过程，并且保证准确和一致地测试应用组件。
http://www.innovatedigital.com/htm_speek/Index_speek_30.shtml

Bush8336

性能指标最初是根据用户需求来定的，然后由架构师量化为具体的数据：响应时间，负载数，数据量等，经过审核后就变成测试的指标了。偶发下言，欢迎批评：）

lidandan

我找不到指标,好惨

degone

恩，楼上的说的有道理。

linkage

楼主考虑的有些过于复杂，既然你要做性能测试，那么我们来简化一下。
1.模拟用户操作以查找系统可能存在的性能瓶颈。那么既然是模拟用户操作，用户看到的是什么？是你的前端界面，用户管你后台用的是unix还是windows，管你数据库用的是oracle还是sybase，管你开发工具用的是jsp还是php？他们只看界面。那么我们就从界面入手，利用工具软件模拟用户操作，监控数据库/中间件/Web服务器等等的相关性能指标。
2.通过相关性能指标的异常，可以基本确定瓶颈在数据库/中间件/Web服务器/网络等问题上(网络的问题一般很少)，然后再去针对具体的产品进一步进行测试，而不是象楼主那样先去把所有的东西都了解个遍(测试环境搭建应不属于性能测试范畴，而关键是测试场景的设计)

测试有前途

个人觉得 性能测试完成后 衡量的标准很难...虽然开发人员在设计系统的时候 规定好了系统能处理的量 但是在测试的时候 测试所用的服务器和商用的服务器配置不同 很难换算性能测试的量 这是不是经验的问题呢？？

gongliang

原帖由 xingcyx 于 2005-8-25 09:24 发表
我同意楼上的观点。
有了性能自动化测试工具，模拟环境和数据收集都变得轻松了，只不过数据分析这一块确实是比较难，需要大量的实践和丰富的经验积累。

同意！我觉得在这方面是我目前最大的困难！

rickyqiu

同意tacy的看法，“测试的难点不是执行，而是设计。”  概括得很好！

tacy_lee

具体到分析数据 这个是细节的问题了 相对来说虽然也不好做 但还是容易一点

qiuyangzh

分析数据，调优系统，有时候是比较麻烦的工作

tacy_lee

关于场景，
对于产品，如果有相应的产品可以横向对比，比如oracle,db2.那么更多的是benchmark testing，这种测试著名的就是spec ，tpc标准。
对于具体应用，更多的场景来自用户习惯，如果是一个新的上线系统，这个更多没有好的办法，靠对应用的理解和大家经验，这种个人觉得不会有标准。

测试的难点不是执行，而是设计。

rickyqiu

最近一段时间一直在做性能测试，试用了很多工具，自己也写了一些工具。就我目前的感觉，最难的是：
确定测试的框架，或者说是测试的场景。这个之所以比较困难是因为需要几个方面的认同，包括RD,management，customer，当然这些都不一定能代表真实环境下的实际状况。也有可能在lab测出的性能很好，到客户那里很差。因为是大的框架，所以希望能早点确定，否则后面改动的话前面很多是白做。
这里面可能还涉及一个问题，就是业界有没有关于现在所做的测试的一套标准做法或者数据样本之类的，如果有TPC-C之类的公认做法就简单了。否则会常想一个问题，这样做是否比较真实或者得到别人（包括竞争对手）的认可。因为做产品要公布性能数据，所以要考虑这些问题。
如果这些东西定下来了，具体怎么去实现，我觉得还不是很难，因为工具很多，商业的，free的，还有公司自己的，甚至自己写的，目前还没有遇到想实现什么而做不到的，当然有时effort会比较大。
不同意见，欢迎拍砖。

槛外人

1、模拟用户操作。。。这个可以根据网站的访问日志得出来。这步通常是由我们的SA和架构师来做的。他们收集到到数据后给我们测试人员。

2、设计场景，模拟用户操作。这个呢，就由测试人员来做了，基本上没有难点。

3、执行并产生报告。  一般我们要监孔的参数都很简单，就是服务器的 Load和CPU等。。。。

如果发现某个参数的值过大，就要架构师跟我们一起分析了，汗啊，好象我们测试人员做的工作都没有什么技术含量啊。

tacy_lee

呵呵 我现在倒觉得其实最难的就是模拟用户习惯,如何让你的测试靠近用户习惯,这个太难了,而一个测试的成功与否,这是一个很重要的因素.