51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 2410|回复: 1
打印 上一主题 下一主题

搭建Jmeter容器集群平台

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2018-6-5 16:12:41 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
基于大量虚拟机的Jmeter集群有个缺点,就是不方便管理,比如需要重启Jmeter服务,还需要一个个的连接
到虚拟机上进行操作,而且安装部署不方便(无法一键部署),也不方便将集群封装成整体应用对外提供服
务。这些缺点通过Rancher部署的容器云平台就能够解决。

一、给各个节点的虚拟机安装Docker

可以让创建虚拟机时就自动带上统一版本的Docker,就可以省掉这一步操作,网上还推荐使用DaoCloud进行
Docker安装和镜像加速,我们是为了做实现,就原始的方式安装吧:

1、对于CantOS安装Docker最好是CentOS7,这样可以保证内核至少是3.10(通过uname -r 命令查看),低
于这个版本的内核无法安装Docker。

2、使用 root 权限登录 Centos。确保 yum 包更新到最新(sudo yum update),我是没有更新。

3、卸载旧版本(如果安装过旧版本的话)

sudo yum remove docker  docker-common docker-selinux docker-engine

4、安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

5、设置yum源

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

6、直接安装最新版的docker(记住版本宁可最新,也不要低于Rancher所要求的版本)

sudo yum install docker-ce

7、启动并加入开机启动

$ sudo systemctl start docker

$ sudo systemctl enable docker

二、Rancher安装和配置

可以选择一台机独立安装,也可以和Jmeter的Master节点部署在一台机上。Rancher是一个开源的容器管
理平台(支持华人的产品),帮助构建企业私有容器服务,相当于KVM里的Openstack。

1、直接调用Docker安装

sudo docker run -d --restart=unless-stopped -p 8080:8080 rancher/server

2、登录Rancher

装完后,(等启动完后)通过http://IP:8080登录,可以选择语言为中文版显示,进行Rancher认证配置(我
也不配了,直接忽略)

3、Rancher主机添加

Rancher提供了很多machine drivers批量添加主机,我们也简单一点,直接选择Custom手动添加吧


以上的两标签可先不加,留后面再加也行,主要是为了标识这是主节点,host.ip为指定IP(对于Slave节点不
需要加标签io.rancher.host.name=master),第4步的IP也可以不用配置,除非是某个节点主机与Rancher
部署在一台机器上(我就是)。最后奔向第5步,复制那一串代码,到需要添加的主机上运行就可以(前提
也是主机装好了Docker,并且可以访问Rancher,避免访问失败连防火墙也可以先关了)。

添加完一个主机后,继续添加其他Slave节点的主机,我是添加了一台master(与Rancher共用)、两台slav
e(这三台机的IP最好都是同网段的,不要用相邻网段的,比如网段为172.16的虚拟机创建Docker后,其网
桥的默认网段就变成172.17,这就导致和172.17网段的虚拟机会网络冲突,碰到冲突临时的解决方式就是
手动修改网桥docker0的网段并重启机器)

逐台主机登录输入命令添加Custom也挺头疼,可以使用expect编写一个脚本来减轻部分工作量(我就添加
三台,用不上):
  1. <p>
  2. </p><p>#!/usr/bin/expect</p><p>
  3. </p><p>set timeout -1</p><p>
  4. </p><p>set ip [lindex $argv 0]</p><p>
  5. </p><p>spawn ssh root@$ip</p><p>
  6. </p><p>expect {</p><p>
  7. </p><p>    "*Are you sure you want to continue connecting (yes/no)?*" { send "yes\r" }</p><p>
  8. </p><p>    "*password*" { send "123456\r" }</p><p>
  9. </p><p>}</p><p>
  10. </p><p>expect {</p><p>
  11. </p><p>    "*password*" { send "123456\r" }</p><p>
  12. </p><p>}</p><p>
  13. </p><p>expect {</p><p>
  14. </p><p>    "]# " { send "sudo docker run --rm --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v1.2.2 http://123.207.234.119:8080/v1/scripts/EE431DCFC650693D335A:1483142400000:3FSEGIHT9rsY68RViGJGV8sBiBk\r" }</p><p>
  15. </p><p>}</p><p>
  16. </p><p>send "exit\r"</p><p>
  17. </p><p>expect eof</p><p>
  18. </p><p>exit</p><p></p>
复制代码

添加完三台主机后的效果:


4、添加Jmeter应用

添加应用(Add Stack)就是填写docker-compose.yml和rancher-compose.yml。由于slave集群在压测过程
中往往由于压力过大出现各种rmi异常导致崩溃,我们把主从分别建两个应用(Stack)。


jmeter-master的docker-compose.yml配置如下(调用的是Docker Hub镜像库里的镜像):

  1. <p>version: '2'</p><p>
  2. </p><p>services:</p><p>
  3. </p><p>  master:</p><p>
  4. </p><p>    image: malfurionpd/jmeter-master</p><p>
  5. </p><p>    stdin_open: true</p><p>
  6. </p><p>    network_mode: host</p><p>
  7. </p><p>    tty: true</p><p>
  8. </p><p>    ports:</p><p>
  9. </p><p>    - 60000:60000/tcp</p><p>
  10. </p><p>    labels:</p><p>
  11. </p><p>      io.rancher.scheduler.affinity:host_label: io.rancher.host.name=master</p><p>
  12. </p><p>      io.rancher.container.pull_image: always</p><p>
  13. </p><p>jmeter-master的rancher-compose.yml配置如下:</p><p>
  14. </p><p>version: '2'</p><p>
  15. </p><p>services:</p><p>
  16. </p><p>  master:</p><p>
  17. </p><p>    scale: 1</p><p>
  18. </p><p>    start_on_create: true</p><p>
  19. </p><p>jmeter-slaves的docker-compose.yml配置如下(包含多节点):</p><p>
  20. </p><p>version: '2'</p><p>
  21. </p><p>services:</p><p>
  22. </p><p>  slave01:</p><p>
  23. </p><p>    image: malfurionpd/jmeter-slave-ip</p><p>
  24. </p><p>    environment:</p><p>
  25. </p><p>      HOST_IP: 172.16.1.37</p><p>
  26. </p><p>    stdin_open: true</p><p>
  27. </p><p>    tty: true</p><p>
  28. </p><p>    ports:</p><p>
  29. </p><p>    - 1099:1099/tcp</p><p>
  30. </p><p>    - 50000:50000/tcp</p><p>
  31. </p><p>    labels:</p><p>
  32. </p><p>      io.rancher.container.pull_image: always</p><p>
  33. </p><p>      io.rancher.scheduler.affinity:host_label: host.ip=172.16.1.37</p><p>
  34. </p><p>  slave02:</p><p>
  35. </p><p>    image: malfurionpd/jmeter-slave-ip</p><p>
  36. </p><p>    environment:</p><p>
  37. </p><p>      HOST_IP: 172.16.1.140</p><p>
  38. </p><p>    stdin_open: true</p><p>
  39. </p><p>    tty: true</p><p>
  40. </p><p>    ports:</p><p>
  41. </p><p>    - 1099:1099/tcp</p><p>
  42. </p><p>    - 50000:50000/tcp</p><p>
  43. </p><p>    labels:</p><p>
  44. </p><p>      io.rancher.container.pull_image: always</p><p>
  45. </p><p>      io.rancher.scheduler.affinity:host_label: host.ip=172.16.1.140</p><p>
  46. </p><p>jmeter-slaves的rancher-compose.yml配置如下:</p><p>
  47. </p><p>version: '2'</p><p>
  48. </p><p>services:</p><p>
  49. </p><p>  slave01:</p><p>
  50. </p><p>    scale: 1</p><p>
  51. </p><p>    start_on_create: true</p><p>
  52. </p><p>  slave02:</p><p>
  53. </p><p>    scale: 1</p><p>
  54. </p><p>    start_on_create: true</p><p></p>
复制代码


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

x
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏2
回复

使用道具 举报

该用户从未签到

2#
 楼主| 发表于 2018-6-5 16:13:09 | 只看该作者

添加应用时导入以上配置文件,点击创建,顺间就能创建jmeter集群(几秒钟的事情)。


创建好的集群各个节点,就可以方便的进行管理(升级、重启、停止服务、查看日志、执行命令行等操作)
,无需连接Linux,就可直接进行各节点的命令操作:


通过以上ps查看,就能发现jmeter的从节点自动启动了jmeter-server,无需人为操作jmeter-server的启动。

登录到master主机,也能看到jmeter-master容器和rancher服务


三、Jmeter集群应用

到这一步就可以验证上面的成果了,直接到一个脚本newTest.jmx进行测试:

jmeter -n -t /jmeter/apache-jmeter-3.2/bin/newTest.jmx -Djava.rmi.server.hostname=172.16.1.30 -Dclien
t.rmi.localport=60000 -R 172.16.1.140,172.16.1.37 -l /jmeter/apache-jmeter-3.2/DashReport/log-222.csv
-e -o /jmeter/apache-jmeter-3.2/DashReport/htmlReport-222


将输出的报告从容器中拷出用html查看,一切OK


四、扩展应用

以上已经实现了一套Jmeter的容器云平台,但是为了让脚本和报告集中管理,我们需要构建一个文件服务器,
通过nginx或是SVN都行。在文件目录下建立jmx,jtl,report三个子目录。

将本机编辑和测试通过的脚本,直接上传到文件服务器上(需要配置SSH免密登录)

scp newTest.jmx root@x.x.x.x:/data/jmetertest/jmx/

通master节点的jmeter可以直接连接文件服务器调用脚本,并将生成的报告保存到文件服务器上。以下是jme
ter的示例脚本:

  1. <p>#!/bin/bash</p><p>
  2. </p><p>if [ ! -n "$1" ] ;then</p><p>
  3. </p><p>        echo 'give me a parameter, ok?'</p><p>
  4. </p><p>else</p><p>
  5. </p><p>        now=`date --date='0 days ago' "+%Y%m%d%H%M%S"`</p><p>
  6. </p><p>        echo "=====Start JMeter Test $1 on $now"</p><p>
  7. </p><p>        echo "=====Step1 wget"</p><p>
  8. </p><p>        cmd1="wget -P /jmeter/apache-jmeter-3.2/bin/ https://xxx.xxx.xxx/jmetertest/jmx/$1"</p><p>
  9. </p><p>        eval ${cmd1}</p><p>
  10. </p><p>        echo "=====Step2 makedir in local"</p><p>
  11. </p><p>        #jmeter-jtl</p><p>
  12. </p><p>        if [ ! -d "/jmeter-jtl" ]; then</p><p>
  13. </p><p>                mkdir /jmeter-jtl</p><p>
  14. </p><p>        fi</p><p>
  15. </p><p>        #jmeter-jtl/xxx.jmx</p><p>
  16. </p><p>        if [ ! -d "/jmeter-jtl/$1" ]; then</p><p>
  17. </p><p>                mkdir "/jmeter-jtl/$1"</p><p>
  18. </p><p>        fi</p><p>
  19. </p><p>        #jmeter-report</p><p>
  20. </p><p>        if [ ! -d "/jmeter-report" ]; then</p><p>
  21. </p><p>                mkdir /jmeter-report</p><p>
  22. </p><p>        fi</p><p>
  23. </p><p>        #jmeter-report/xxx.jmx</p><p>
  24. </p><p>        if [ ! -d "/jmeter-report/$1" ]; then</p><p>
  25. </p><p>                mkdir "/jmeter-report/$1"</p><p>
  26. </p><p>        fi</p><p>
  27. </p><p>        echo "=====Step3 jmeter"</p><p>
  28. </p><p>        cmd2="/jmeter/apache-jmeter-3.2/bin/jmeter -n -t /jmeter/apache-jmeter-3.2/bin/$1 -l /jmeter-jtl/$1/$now.jtl -e -o /jmeter-report/$1/$now -Djava.rmi.server.hostname=172.16.1.30 -Dclient.rmi.localport=60000 -R 172.16.1.37,172.16.1.140"</p><p>
  29. </p><p>        eval ${cmd2}</p><p>
  30. </p><p>        tip="10.135.147.74"</p><p>
  31. </p><p>        echo "=====Step4 scp"</p><p>
  32. </p><p>        #scp jtl</p><p>
  33. </p><p>        tjtl="/data/jmetertest/jmetertest/jtl"</p><p>
  34. </p><p>        cmd3="ssh root@${tip} \"[ -d ${tjtl}/$1 ] && echo ok || mkdir -p ${tjtl}/$1\""</p><p>
  35. </p><p>        eval ${cmd3}</p><p>
  36. </p><p>        cmd4="scp /jmeter-jtl/$1/$now.jtl root@${tip}:${tjtl}/$1/"</p><p>
  37. </p><p>        eval ${cmd4}</p><p>
  38. </p><p>        #scp report</p><p>
  39. </p><p>        treport="/data/jmetertest/report"</p><p>
  40. </p><p>        cmd5="ssh root@${tip} \"[ -d ${treport}/$1 ] && echo ok || mkdir -p ${treport}/$1\""</p><p>
  41. </p><p>        eval ${cmd5}</p><p>
  42. </p><p>        cmd6="ssh root@${tip} \"[ -d ${treport}/$1/$now ] && echo ok || mkdir -p ${treport}/$1/$now\""</p><p>
  43. </p><p>        eval ${cmd6}</p><p>
  44. </p><p>        cmd7="scp -r /jmeter-report/$1/$now root@${tip}:${treport}/$1/"</p><p>
  45. </p><p>        eval ${cmd7}</p><p>
  46. </p><p>        echo "=====End JMeter Test $1 on $now"</p><p>
  47. </p><p>fi</p>
复制代码


备注说明:上面所用到的jmeter镜像都是从DockerHub调用的,为了方便镜像的分布式下发和运行,调用
DockerHub的镜像是个简便的方式,我们也可以自己生成jmeter镜像,申请个Docker Hub账号后上传到
镜像库里。

由于Rancher还有很多其他功能,也可以做一些其他方面的集成,后续再做研究!


回复 支持 反对

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-12 04:52 , Processed in 0.066797 second(s), 25 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表