基于 Docker 集群的分布式测试系统 DDT (DockerDistributedTest) 【中】

八戒你干嘛

2-2.分布式任务调度工具选型TestNG

早在2006年2月，TestNG 4.5版本中就新增了Distributed TestNG特性，遗憾的是，作者Cedric Beust已经不维护，将Distributed classes移出， 现在的TestNG已不支持Distributed Test。国内有人研究过，有兴趣的可以了解下：http://markshao.github.io/blog/2014/03/01/new-testng/，由于是非官方的，并且也不是很完善，我们没采用他们的方式。

Gearman

入门简单，由worker、client和Job server组成，client发送任务给Job Server，Job Server将任务传送给worker执行并将结果返回给client（http://gearman.org/getting-started/）；尝试过，但是不稳定，外网机器调度内网机器或内网机器调度内网机器，会发生无法执行任务的情况，猜测可能是Gearman Protocol被公司网络限制。

bistro

facebook开源的一款分布式任务调度工具, Bistro needs a 64-bit Linux, Folly, FBThrift, boost, and libsqlite3. Caveats: You need about 2GB of RAM to build, as well as GCC 4.8 or above. 安装时，依赖的一些资源，国内无法下载，故没安装上； 项目也没怎么维护。

celery

Python开发的一款分布式任务队列（https://github.com/celery/celery）,用的人还是蛮多的，github上5k+个star，因为我们的工程是java编写，最好使用有java api的工具，故没使用该工具。

LTS

Java开发的一款分布式任务调度工具(https://github.com/ltsopensource/light-task-scheduler)，提供了完整的文档、使用示例和前端控制台，并且有丰富的java api，可以将调度方有效的结合到测试工程中；故我们使用LTS作为我们分布式测试调度工具； LTS主要由JobClient(负责提交任务，并接受结果)、JobTracker(接收并分配任务)、TaskTracker(执行任务，结果反馈给JobTrack)组成，同时需要配置zookeeper和mysql， 详见github主页LTS用户文档。

3.实现

完整的流程图：

DockerDistributedTest系统由自动化测试工程、用例子集发送器（将测试集自动拆成N个子集）、JobTrack中转站、执行用例Docker集群、测试结果解析器组件构成。

3-1.自动化测试工程

自动化测试工程FastTest, 用例使用TestNG编写，支持http接口测试、rpc服务测试等。

3-2.用例子集发送器

用例子集发送器由JobClient和测试类探测器(https://github.com/neven7/TestClassFinder)组成；

测试类探测器可以根据全限包正则表达匹配出该包下所有的测试类名(JUnit或TestNG测试类)：

1. // 正则匹配
   
2. String[] filterPatterns = { "com.weibo.qa.testclassfinder.test.*Test" };
   
3. TestClassFinder tcn = new TestClassFinder(filterPatterns);
   
4. 
   
5. System.out.println(tcn.find());
   
6. System.out.println(tcn.classNameList(tcn.find()));
   
7. 
   
8. 输出：
   
9. [class com.weibo.qa.testclassfinder.test.JUnitTest]
   
10. [JUnitTest]
    

复制代码

根据测试类探测器得出的测试类集合，拆分成N个子集(N为执行docker实例的数量)：

1. /**
   
2. * 将testClassName list拆分成TASK_TRACKER_NUM个子list
   
3. *
   
4. * @param testClassName
   
5. * @return
   
6. * @author hugang
   
7. */
   
8. public static List<String> convertClassStr(
   
9.         List<String> testClassNameList) {
   
10.     if (testClassNameList == null) {
    
11.         throw new NullPointerException("the testClassName list is null .");
    
12.     }
    
13. 
    
14.     if (TASK_TRACKER_NUM <= 0) {
    
15.         throw new IllegalArgumentException(
    
16.                 "TASK_TRACKER_NUM must be more than 0");
    
17.     }
    
18. 
    
19. 
    
20.     List<List<String>> subListResult = new ArrayList<List<String>>(
    
21.             TASK_TRACKER_NUM);
    
22. 
    
23.     for (int i = 0; i < TASK_TRACKER_NUM; i++) {
    
24.         subListResult.add(new ArrayList<String>());
    
25.     }
    
26. 
    
27.     int index = 0;
    
28.     for (String testClassName : testClassNameList) {
    
29.         subListResult.get(index).add(testClassName);
    
30.         index = (index + 1) % TASK_TRACKER_NUM;
    
31.     }
    
32. 
    
33.     List<String> TestClssName = new ArrayList();
    
34. 
    
35.     TestClssName = convertFormat(subListResult);
    
36. 
    
37.     return TestClssName;
    
38. }
    
39. 
    
40. public static List<String> convertFormat(List<List<String>> subListResult) {
    
41.     if (subListResult == null) {
    
42.         throw new NullPointerException("the subListResult list is null. ");
    
43.     }
    
44. 
    
45.     List<String> FromatTestClass = new ArrayList<String>();
    
46. 
    
47.     // 将子数组拆分成字符串，数组元素间以逗号分隔 e.g.
    
48.     // {["test1","test2"],["test3","test4","test5"]} -> ["test1,test2",
    
49.     // "test3,test4,test5"]
    
50.     for (int j = subListResult.size() - 1; j != -1; j--) {
    
51.         FromatTestClass.add(convertListToString(subListResult.get(j)));
    
52.     }
    
53. 
    
54.     return FromatTestClass;
    
55. }
    
56. 
    
57. /**
    
58. *  将一个list转成字符串形式， ["test1","test2"] -> "test1,test2"
    
59. * @param testNameList
    
60. * @return
    
61. * @author hugang
    
62. */
    
63. public static String convertListToString(List<String> testNameList){
    
64.     if(testNameList == null){
    
65.         throw new NullPointerException("the testNameList list is null. ");
    
66.     }
    
67. 
    
68.     String arrayStr = "";
    
69.     String subStr;
    
70.     for(int i = 0; i < testNameList.size(); i++){
    
71.         subStr = testNameList.get(i);
    
72.         if(i != testNameList.size() -1){
    
73.             arrayStr += (subStr + ",");
    
74.         }else{
    
75.             arrayStr += subStr;
    
76.         }
    
77.     }
    
78. 
    
79.     return arrayStr;
    
80. }

复制代码

得到一个list，list每个元素就是每个docker实例需要执行的测试类， 比如有10个测试类"class1,class2,class3,class4,class5,class6,class7,class8,class9,class10"，有5个docker实例，则list形如：["class1,class2", "class3,class4", "class5,class6", "class7,class8", "class9,class10"]；foreach这个list，将每个元素提交给JobTracker:

1. for (String jobTestClass : runTestClassList) {
   
2.         submitClassRealtimeJob(jobClient, jobTestClass);
   
3.     }
   
4. 
   
5. 
   
6. // 新增测试类参数, 将测试类子集className提交给一个job任务
   
7. private static Response submitClassRealtimeJob(JobClient jobClient,
   
8.         String className) {
   
9.     Job job = new Job();
   
10.     job.setTaskId("run_test_case_realtime_001 " + Math.random());
    
11.     job.setParam("className", className);
    
12.     job.setTaskTrackerNodeGroup("test_trade_TaskTracker");
    
13.     job.setNeedFeedback(true);
    
14.     job.setReplaceOnExist(true); // 当任务队列中存在这个任务的时候，是否替换更新
    
15.     // 提交任务的状态
    
16.     Response response = jobClient.submitJob(job);
    
17.     System.out.println(response);
    
18.     return response;
    
19. }   

复制代码

请跳转至基于 Docker 集群的分布式测试系统 DDT (DockerDistributedTest) 【下】