Web Service 性能测试工具比较

巴黎的灯光下

背景希望选择一款Web Service性能测试工具，能真实模拟大量用户访问网站时的请求，从而获取服务器当前的请求处理能力（请求数/秒）。
以微信服务器为例，每个用户用独立的登录token，做各种操作，比如刷消息、发消息、看朋友圈等。
希望该性能测试工具符合如下要求：  

• 测试脚本能力，最好是Python/Ruby等最常用的
• 每个并发实例能使用不同参数
• CLI启动测试，这对自动化测试很重要
• Session支持，也就是第一个请求的响应，能用于后续请求的参数。
• 单个结点的并发数量高。
• 分布式支持，不受限于单个结点的计算能力。
  

性能测试工具选手：Gatlinghttp://gatling.io/  
Gatling是一款基于Scala 开发的高性能服务器性能测试工具，它主要用于对服务器进行负载等测试，并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器，比如Web应用程序，RESTful服务等，除此之外它拥有以下特点：

• 支持Akka Actors 和 Async IO，从而能达到很高的性能
• 支持实时生成Html动态轻量报表，从而使报表更易阅读和进行数据分析
• 支持DSL脚本，从而使测试脚本更易开发与维护
• 支持录制并生成测试脚本，从而可以方便的生成测试脚本
• 支持导入HAR（Http Archive）并生成测试脚本
• 支持Maven，Eclipse，IntelliJ等，以便于开发
• 支持Jenkins，以便于进行持续集成
• 支持插件，从而可以扩展其功能，比如可以扩展对其他协议的支持
• 开源免费
  

测试场景示例：
http://gatling.io/docs/2.1.7/advanced_tutorial.html  

1. object Search {
   
2. 
   
3.   val feeder = csv("search.csv").random // 1, 2
   
4. 
   
5.   val search = exec(http("Home")
   
6.     .get("/"))
   
7.     .pause(1)
   
8.     .feed(feeder) // 3
   
9.     .exec(http("Search")
   
10.     .get("/computers?f=${searchCriterion}") // 4
    
11.     .check(css("a:contains('${searchComputerName}')", "href").saveAs("computerURL"))) // 5
    
12.     .pause(1)
    
13.     .exec(http("Select")
    
14.     .get("${computerURL}")) // 6
    
15.     .pause(1)
    
16. }

复制代码

统计图：




nGrinder官网很卡，真的很卡...zzz...
http://naver.github.io/ngrinder/

nGrinder是一个基于 Grinder 开发的一个非常易于管理和使用的性能测试系统。

它是由一个controller和连接它的多个agent组成，用户可以通过web界面管理和控制测试，以及查看测试报告，controller会把测试分发到一个或多个agent去执行。用户可以设置使用多个进程和线程来并发的执行该脚本，而且在同一线程中，来重复不断的执行测试脚本，来模拟很多并发用户。

nGrinder的测试是基于一个python的测试脚本，用户按照一定规则编写测试脚本以后，controller会将脚本以及需要的其他文件分发到agent，用Jython执行。并在执行过程中收集运行情况、响应时间、测试目标服务器的运行情况等。并保存这些数据生成运行报告，以供以后查看。

nGrinder的一大特点就是非常容易使用，安装也非常容易，可以做到开箱即用，测试用户也可以很容易就开始测试任务。当然，如果想执行一些比较复杂场景的性能测试，就需要测试人员对python有一定认识。  
测试场景示例：
http://grinder.sourceforge.net/faq.html#simulating-users  

1. #
   
2. # testRandomise.py
   
3. #
   
4. import random
   
5. import string
   
6. 
   
7. class TestRandomise:
   
8.   def __init__(self, filename):
   
9.     self._users = []
   
10.     infile = open(filename, "r")
    
11. 
    
12.     for line in infile.readlines():
    
13.       self._users.append(string.split((line),','))
    
14.     infile.close()
    
15. 
    
16.   def getUserInfo(self):
    
17.     "Pick a random (user, password) from the list."
    
18.     return random.choice(self._users)
    
19. 
    
20. 
    
21. #
    
22. # Test script. Originally recorded by the TCPProxy.
    
23. #
    
24. from testRandomise import TestRandomise
    
25. tre = TestRandomise("users.txt")
    
26. 
    
27. class TestRunner:
    
28.     def __call__(self):
    
29.         # Get user for this run.
    
30.         (user, passwd) = tre.getUserInfo()
    
31. 
    
32.   # ...
    
33. 
    
34.   # Use the user details to log in.
    
35. 
    
36.         tests[2002].POST('https://host:443/securityservlet',
    
37.           ( NVPair('functionname', 'Login'),
    
38.             NVPair('pagename', 'Login'),
    
39.             NVPair('ms_emailAddress', user),
    
40.             NVPair('ms_password', passwd), ))

复制代码

统计图：




Locusthttp://locust.io/  
Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为，也可以仿真百万个用户。

Locust 是非常简单易用，分布式，用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试，能测试出一个系统可以并发处理多少用户。

Locust 是完全基于时间的，因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用，Locust 不使用回调，而是使用轻量级的处理方式 gevent。
测试场景示例：
http://docs.locust.io/en/latest/ ... ample-locustfile-py  

1. from locust import HttpLocust, TaskSet
   
2. 
   
3. def login(l):
   
4.     l.client.post("/login", {"username":"ellen_key", "password":"education"})
   
5. 
   
6. def index(l):
   
7.     l.client.get("/")
   
8. 
   
9. def profile(l):
   
10.     l.client.get("/profile")
    
11. 
    
12. class UserBehavior(TaskSet):
    
13.     tasks = {index:2, profile:1}
    
14. 
    
15.     def on_start(self):
    
16.         login(self)
    
17. 
    
18. class WebsiteUser(HttpLocust):
    
19.     task_set = UserBehavior
    
20.     min_wait=5000
    
21.     max_wait=9000

复制代码

统计图：




其他未参与比较的工具因为没有脚本能力或CLI，所以未加入比较

• JMeter
• ApacheBench(ab)
• Tsung
  

Locust作者对JMeter和Tsung发的牢骚：  
http://my.oschina.net/u/1433482/blog/464092#OSC_h4_3

我们研究了现有的解决方案，都不符合要求。比如Apache JMeter和Tsung。
JMeter基于UI操作，容易上手，但基本上不具备编程能力。其次JMeter基于线程，要模拟数千用户几乎不可能。  
Tsung基于Erlang，能模拟上千用户并易于扩展，但它基于XML的DSL，描述场景能力弱，且需要大量的数据处理才知道测试结果。  

比较比较科目x工具矩阵



结论很明显，首选的全能选手就是 Gatling ，Akka Actor的并发模型就是来自于并发语言的鼻祖Erlang。

如果想自己扩展性能测试工具，那么Locust这个小而精的工具可以考虑。

nGrinder工具是韩国版微信Line开源的，并且专门开设了中文论坛，由韩国工程师回答中国开发者。但有两个问题,一是官网太卡，其二示例都是片段不完整。  
各位同学参照上面的对比，自己各取所需吧。