Segue性能测试工具SilkPerformer和Mercury LoadRunner的对比分析

xj_zhang

1. Segue SilkPerformer有一个完整的工作流和上下文敏感的帮助系统指导用户完成整个负载压力测试的各个步骤，保证测试的正确进行，对新用户而言是一个平滑的学习曲线。
  Mercury LoadRunner没有一个明确的工作流指导流程，仅仅是依靠测试人员的经验来进行测试。

2. Segue SilkPerformer通过一个中心控制台管理所有代理的机器，并且，在一个测试项目范围内有效管理所有测试资产，并保存在一个地方/目录里，包括脚本、测试场景、代理份额、测试结果、项目属性等。有利于整个测试的控制管理和进行。
  Mercury LoadRunner 是一种分散的测试环境，测试脚本生成、压力测试和报告分析使用不同的工具，没有将所有测试资产集中的项目概念，脚本、场景和结果分别是不同的部分，分开存放。

3. Segue SilkPerformer具有先进的TrueScale技术，每个HTTP虚拟用户占用的内存资源是LoadRunner 的三分之一到二分之一，从而在相同的硬件条件下， SilkPerformer可运行的虚拟用户是LoadRunner的2到3倍。从而可以用合理的较小开销进行大范围的负载测试。

4. Segue SilkPerformer有明确的Baseline即基线测试，测试人员可以此为参考制定出测试结果目标。

5. Segue SilkPerformer具备多种测试场景模式（称为workload），包括VU递增递减、VU固定、VU动态调节、VU全天设定、VU模拟队列等方式，给测试提供灵活多样的选择。而LoadRunner只有单一的VU递增递减去设定。而且在一个测试项目里SilkPerformer可以设定多个workload供测试使用。LoadRunner只能基于一个场景保存测试为场景文件。

6. 根据项目测试需求、测试指标和监控要求，Segue SilkPerformer可以事先制定好监控器模板，包含需要监控收集的各种数据要求，在测试中直接使用，还可以动态调整。LoadRunner只能在具体测试中临时添加各项数据的监控。

7. Segue SilkPerformer使用TrueLog技术可以可视化地单步效验调试测试脚本，方便直观地找到脚本的错误、设定参数化数据、进行内容检查点设定。LoadRunner只能在VU生成器中使用执行log观察效验错误。

8. Segue SilkPerformer在测试脚本录制过程中可以动态实时看到录制动作的每一步，确保录制工作准确无误，LoadRunner无法做到这一点。

9. Segue SilkPerformer 可以模拟多达三十多种网络连接，从GPRS、Modem到ADSL、IDSN、LAN等，从而有效的覆盖了企业可能涉及到的各种连接情况。LoadRunner只能模拟有限的几种。而且SilkPerformer可以实现对无线如wap的压力测试，LoadRunner做不到这一点。

10．Segue SilkPerformer 的TrueCache™ 技术精确模拟一个Web浏览器的缓存行为，包括有条件请求的缓存， 从而保证对返回的Web用户的实际模拟。LoadRunner不能正确模拟Microsoft’s Internet Explorer (check once per session) 的缺省缓存策略。在使用条件请求时，LoadRunner对于新内容文档或总是检查或总是不检查，这导致对服务器或太高或太低的压力。
另外，Segue SilkPerformer还可以精确模拟一个真实用户Web浏览的行为，例如取消长时间的不重要的Web页面组件的运行请求 (例如页面嵌入图片)。在LoadRunner中，虚拟用户会一直等待WEB页面最后的组件部分全部接收完毕，即使是一个不重要的的图像（如徽标）。

11. 相比LoadRunner，Segue SilkPerformer的测试结果分析报告更为精细，比如对Web应用，可以分析出测试脚本中每一步执行的页面响应时间、页面传输数据的最小、最大、平均值等。

12. Segue SilkPerformer基于项目把测试结果数据记录在数据库中，可以随时使用Performer Reportor动态生成每个测试项目中每次测试场景的测试结果总结报告、度量报告和错误报告等的图表，图表分析形式丰富，协助用户可以从各个角度分析结果。

hrz_soft

asks_zhuang

等我接触了这两个工具，就更能理解了

xiao_jie98

怎么感觉LR和SilkPerformer比起来一无是处？

yuxingxin

Originally posted by xiao_jie98 at 2005-5-16 11:41 AM:
怎么感觉LR和SilkPerformer比起来一无是处？

嗯，是这样，每个工具都把自己的优势拿出来跟lr比。

C#

LR硬件条件开销大这是事实，何况 Segue SilkPerformer的优点还不止于此

madskill

要是silkperformer能有中文版本的,就更好了.

jiangfe

可能搂主是Segue的员工，也太假了吧。这么好的产品，请楼主解释：为什么Segue连续两年亏损？为什么产品占有率还不到5%，而Mercury是70%？

asks_zhuang

Originally posted by jiangfe at 2005-7-23 05:25 PM:
可能搂主是Segue的员工，也太假了吧。

大家请心平气和的讨论问题,每个工具都有自己的特点,对比的文章我们欢迎,
对比的内容是供大家参考的,意见不同可以直接讨论
欢迎技术方面的讨论,攻击的,不要!

hbx_303

我只用过loadrunner,没有齐全的中文文档资料

风雨同舟

楼主，你知道什么叫性能测试吗？ 性能测试工具的核心是什么？ 考虑重点是什么？

SilkPerformer把一些测试管理方面的东西也拿来，跟一个纯粹的性能测试平台比较，抛开了性能测试的核心问题，搞得颇有些花里胡哨的，这样的比较太假了吧！

hbwind

>>>Segue性能测试工具SilkPerformer和Mercury LoadRunner的对比分析
>>>
>>>1. Segue SilkPerformer有一个完整的工作流和上下文敏感的帮助系统指导用户完成整个负载压力测试的各个步骤，保证测试的正确进行，对新用户而言是一个平滑的学习曲线。
LoadRunner是有一套行之有效的性能测试流程的，它的帮助里面有一个教程文档，用户可以参考，另外我想网上已经有很多这方面的经验了，也有相关的文章，目前看来性能测试是一门学科，经验发挥的作用很大，Mercury的经验丰富，而且具有很多最佳实践，当然这些培训有些需要付费的，没有什么固定的模式可以放之四海而皆准，一切需要依靠经验和各自的情况才能建立适合自己的测试流程和规范。
>>>  Mercury LoadRunner没有一个明确的工作流指导流程，仅仅是依靠测试人员的经验来进行测试。
参见上述，LoadRunner的标准培训中包含如何做测试准备，如何录制脚本，如何施加压力，施加压力分为各个阶段等等，网上很多相关文档也有类似说明。我想很多人选择语言开发，在相关功能差别不大的情况下，往往选择被大多数用户所使用的，为什么？因为你可以学习很多经验，你发现了问题会有很多人一起讨论，选择测试工具也是如此，这样你的老师才不会限制在某个厂商（有些可能还是没多少大型项目经验的厂商）。
>>>
>>>2. Segue SilkPerformer通过一个中心控制台管理所有代理的机器，并且，在一个测试项目范围内有效管理所有测试资产，并保存在一个地方/目录里，包括脚本、测试场景、代理份额、测试结果、项目属性等。有利于整个测试的控制管理和进行。
不多说了，LoadRunner完全可以实现。看来对比产品时还是要多多了解一下别的产品才好。
>>>  Mercury LoadRunner 是一种分散的测试环境，测试脚本生成、压力测试和报告分析使用不同的工具，没有将所有测试资产集中的项目概念，脚本、场景和结果分别是不同的部分，分开存放。
>>>
不知道为什么会这么说？工具模块分开，不等于不能集中存放，相反对于脚本和测试结果的管理更加灵活。脚本生成可以安装在任何一台机器上，任何一台机器都可以生成脚本，进行调试，没有许可的控制，这样有些人就可以专注于脚本生成，因为他要掌握很多相关的技术，而控制器拿来脚本后，可以控制脚本的运行，运行结束后，测试结果也可以拷贝到任何一台安装了分析器的机器上进行分析（分析器没有许可限制），这样就可以有些人专注于分析。
关于集中存放和管理，除了用户自己规划以外，LoadRunner可以和Mercury的TestDirector产品配合使用（目前看来TD在国内的市场份额也比较大，很多用户都是同时购买TD和LoadRunner，TD是业界统一的测试管理平台，大家可以去相关论坛看看，口碑甚好），脚本，场景，结果可以直接存储在TD中，并且可以TD控制LoadRunner的运行。
>>>3. Segue SilkPerformer具有先进的TrueScale技术，每个HTTP虚拟用户占用的内存资源是LoadRunner 的三分之一到二分之一，从而在相同的硬件条件下， SilkPerformer可运行的虚拟用户是LoadRunner的2到3倍。从而可以用合理的较小开销进行大范围的负载测试。
>>>
不知道这个是怎么测试出来的？LoadRunner分为进程和线程两种模式，不同模式占有的资源是不同的。
>>>4. Segue SilkPerformer有明确的Baseline即基线测试，测试人员可以此为参考制定出测试结果目标。
>>>
基准测试更多的是测试方法，与测试工具应该是无关的，测试工具只是实现你的规划和方法。1个人1次交易可以是基准，100次取平均值也可以作为基准，基准测试还要和测试数据相关，例如查询出来的1个客户和100个客户，基准时间肯定是不同的，这要根据不同项目考虑，不能一概而论。
>>>5. Segue SilkPerformer具备多种测试场景模式（称为workload），包括VU递增递减、VU固定、VU动态调节、VU全天设定、VU模拟队列等方式，给测试提供灵活多样的选择。而LoadRunner只有单一的VU递增递减去设定。而且在一个测试项目里SilkPerformer可以设定多个workload供测试使用。LoadRunner只能基于一个场景保存测试为场景文件。
>>>
关于测试场景模式，LoadRunner完全可以实现，只是没有明确的区分。一个场景文件，不等于只能执行一个脚本，LoadRunner支持多组，每个组可以不同的压力产生规则，不同的脚本，另外LoadRunner还支持目标场景，即用户可以设定测试目标，Controller会自动调节压力产生的相关规则，这也大大提高了测试的灵活性。
>>>6. 根据项目测试需求、测试指标和监控要求，Segue SilkPerformer可以事先制定好监控器模板，包含需要监控收集的各种数据要求，在测试中直接使用，还可以动态调整。LoadRunner只能在具体测试中临时添加各项数据的监控。
>>>
建立一个场景，配置监控后保存就是了，脚本可以为空，下次再打开这个场景，重新配置脚本即可，然后也可以随时调整，这个还需要设置模板吗？
>>>7. Segue SilkPerformer使用TrueLog技术可以可视化地单步效验调试测试脚本，方便直观地找到脚本的错误、设定参数化数据、进行内容检查点设定。LoadRunner只能在VU生成器中使用执行log观察效验错误。
>>>
我想这个是产品理念的不同，LoadRunner中脚本生成器就是产生脚本的，在性能测试进行时，你的脚本应该是保证正确的，如果错误，请不要在场景中进行调试。这就像软件开发，出现BUG，开发团队在开发环境中去检查和修改，好像一边测试一边调调看看的不多啊，而且从测试理论来说也是不正确的，脚本其实就像一个软件一样。
>>>8. Segue SilkPerformer在测试脚本录制过程中可以动态实时看到录制动作的每一步，确保录制工作准确无误，LoadRunner无法做到这一点。
>>>
请注意，LoadRunner只是在某些协议脚本是这样的，在大多数协议，例如Web，也是可以看到每一步的，包括你可以在录制过程中随时插入你自己的函数和操作，我认为这么写的人还是对LoadRunner不了解。另外能看到每一步好像实际操作中意义不大，因为在LoadRunner中，你可以通过Transaction和注释去标记你测试时和调试脚本时感兴趣的地方。
>>>9. Segue SilkPerformer 可以模拟多达三十多种网络连接，从GPRS、Modem到ADSL、IDSN、LAN等，从而有效的覆盖了企业可能涉及到的各种连接情况。LoadRunner只能模拟有限的几种。而且SilkPerformer可以实现对无线如wap的压力测试，LoadRunner做不到这一点。
>>>
LoadRunner支持模拟网络连接，但是它也知道，目前技术日新月异，列表往往是不能涵盖的，所以用户可以自己设置带宽。LoadRunner有一个模块WAN模拟器，还可以模拟丢包率等其它情况，另外LoadRunner可以支持WAP，这在官方网站上可以查到，我还是认为这么写的人对LoadRunner不了解，甚至起码的官方文档也不看看。
>>>10．Segue SilkPerformer 的TrueCache? 技术精确模拟一个Web浏览器的缓存行为，包括有条件请求的缓存， 从而保证对返回的Web用户的实际模拟。LoadRunner不能正确模拟Microsoft’s Internet Explorer (check once per session) 的缺省缓存策略。在使用条件请求时，LoadRunner对于新内容文档或总是检查或总是不检查，这导致对服务器或太高或太低的压力。
这个有切实的证据吗，有具体的数据说明吗？
据我所知，LoadRunner可以模拟多种浏览器和浏览器的多种行为，完全可以模拟客户端对服务器的访问情况。
>>>另外，Segue SilkPerformer还可以精确模拟一个真实用户Web浏览的行为，例如取消长时间的不重要的Web页面组件的运行请求 (例如页面嵌入图片)。在LoadRunner中，虚拟用户会一直等待WEB页面最后的组件部分全部接收完毕，即使是一个不重要的的图像（如徽标）。
>>>
LoadRunner中可以设置下载的内容格式，是文本，图片还是其它。不同的设置可以针对不同的目标进行考量。
>>>11. 相比LoadRunner，Segue SilkPerformer的测试结果分析报告更为精细，比如对Web应用，可以分析出测试脚本中每一步执行的页面响应时间、页面传输数据的最小、最大、平均值等。
>>>
这个不多说了，看看LoadRunner的报告就知道了，LoadRunner完全支持，LoadRunner是通过标记Transaction来进行，它只提供给客户感兴趣的部分，用户在录制时和后期编辑时可以随意加入Transaction。另外，LoadRunner中的Web Page Breakdown设置可以将页面下载的各个环节展现给用户，包括DNS解析的时间，页面下载的时间，客户端处理的时间等等，只是要注意的是，LoadRunner的报告不是一下子把所有的东西都给客户，它的报告是汇集了客户感兴趣的部分，这个下面谈。
>>>12. Segue SilkPerformer基于项目把测试结果数据记录在数据库中，可以随时使用Performer Reportor动态生成每个测试项目中每次测试场景的测试结果总结报告、度量报告和错误报告等的图表，图表分析形式丰富，协助用户可以从各个角度分析结果。
LoadRunner测试结果也是存储在数据库中，只是每次结果独立。这样的好处再于，可以在任何分析器中打开进行分析。LoadRunner提供了分析器，可以对结果数据进行分析和处理，包括多图合并（例如可以把用户数和响应时间合并在一个图中，还有服务器的CPU情况，这样分析人员可以看到随着用户数目的增加，系统的反应情况），多次结果交叉比较（比较两个结果，看配置修改是否优化了性能），内置了优化的算法，可以针对测试结果的某段响应时间，自动列出和它相关联的各种因素，按照关联度排列，从而协助分析人员定位瓶颈。分析人员可以选择感兴趣的图表（而不是一股脑儿一大堆，什么都塞给客户），导出生成报告（支持HTML格式和Word格式，全中文）

除此之外,LoadRunner还有很多优点，不一一说明了，只是简要介绍一下：
1、LoadRunner支持的协议和监控广泛，有些协议是独家支持
2、LoadRunner的中文化，不仅仅是界面，更是帮助手册和结果报告，目前中文版本是7.8和8.1
3、支持从Unix，Linux操作系统作为压力生成器

我觉得考量一个工具，就像选择技术发展方向一样，要考量几个问题，除了单纯的技术对比：
1、产品的出身
厂家实力决定了日后的支持和不断发展和完善，大家对比一下厂商吧，不多说了）
2、使用的范围
有多少人在用，用的范围在哪方面，大型项目还是小型项目，去Oracle，甚至IBM网站上搜搜，很多产品的性能报告都是使用LoadRunner来测试的）
3、国内支持的力度
是不是原厂商在国内的办事处/分公司（代理的话，今天代理，明天也许就代理别的，不代理了，呵呵），
是不是中文支持(不是说一定是中文，只是中文版说明重视国内）
4、被业界承认的力度
Mercury的CPC认证，无论国内国外还是很有份量的，你去测试公司应聘的时候，会被问什么（也许就是你会使用LoadRunner吗？）

asks_zhuang

不辩不明，欢迎大家更多的使用经验分享和产品对比。

anson

同意hbwind，说得太对了
LZ的帖子有误导之嫌

loadtest

hbwind想必是Mercury的员工吧，呵呵

我没有别的意思，其实hbwind分析的很好。

希望有人能够再分析一下segue的，公平一点的角度。

笑游天涯侠

本来对SilkPerformer很感兴趣，也很希望向公司推荐。
可是试用时，发现SilkPerformer太让我失望了。录制时，functions始终为0，导致脚本为空。按照几个朋友的建议修改了注册表的一些信息，问题还是没能解决。它太让我失望了。

cnothing

没得比，silk不好用

readytofly

好激烈，我没用过segue，只看过别人演示，感觉silkPerformer界面是比较漂亮，但场景的配置没有loadrunner方便灵活

asks_zhuang

客户端的设置都可以在profile设定，如浏览器类型，网络类型等。
workload提供了6种不同的压力模式，如increasing workload,steady workload等。

lg8310

大家多多益善啊