JMeter InfluxDB Grafana性能监控

梦幻小丑灯

JMeter+InfluxDB+Grafana性能监控概述

本文我们将介绍如何使用 jmeter + InfluxDB + Grafana 打造压测可视化实时监控。

本文各软件版本：jmeter-5.1 ； InfluxDB-1.7.8-1 ； Grafana-6.4.3

引言

我们很多时候在使用JMeter做性能测试，我们很难及时察看压测过程中应用的性能状况，总是需要等到测试完成后去看Report，如果是长时间压测，比如压测1~2天，那就更烦人了。

解决方案

JMeter 3.2  开始 Backend Listener 中引入的  InfluxDBBackendListenerClient 允使用UDP或HTTP协议将统计指标发送到InfluxDB。通过配置 Grafana (开源的WEB可视化看板)数据源连接到 Influxdb，我们就可以创建炫酷的可视化看板，并可以实时获取到测试指标数据。

1. 安装InfluxDB1.1、InfluxDB简介

· 时序数据库：处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。想象它就像一个sql表，其中时间是它的主键

· InfluxDB：是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。

· 与 同类数据库 OpenTSDB 的比较：

http://blog.fatedier.com/2016/07/06/test-influxdb-and-opentsdb/

InfluxDB其实包括了时序数据的上下游：   

梦幻小丑灯

3.3、配置图表

配置图表有两种方式，一种是利用系统提供的图表自己组合，另一种是导入官方提供的图表展示模板。

3.3.1、自定义图表
（见附件：例1）

点击任意一个都可以，进行下面的配置

（见附件：例2）

指标说明

线程数/用户相关指标

test.minAT-Min active threads：最小活跃线程数

test.maxAT-Max active threads：最大活跃线程数

test.meanAT-Mean active threads：活跃线程数

test.startedT-Started threads：启动线程数

test.endedT-Finished threads：结束线程数

响应时间指标

.ok.count：采样器的成功响应数

.h.count：每秒点击数

.ok.min：采样器成功最短响应时间

.ok.max：采样器成功最长响应时间

.ok.avg：采样器成功平均响应时间

.ok.pct：采样器成功响应百分比

.ko.count：采样器失败响应数

.ko.min：采样器失败的响应最短时间

.ko.max：采样称失败最长响应时间

.ko.avg：采样器失败平均响应时间

.ko.pct：采样器失败响应百分比

.a.count：采样器响应数（ok.count和ko.count的总和）

.a.min：采样器最小响应时间（ok.count和ko.count的最小值）

.a.max：采样器最大响应时间（ok.count和ko.count的最大值）

.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）

.a.pct：采样器响应百分比（根据和失败样本的总数计算）

Backend Listener的默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％。

Graphite使用点（“.”）去拆分的元素，这可能与十进制百分位值混淆。JMeter转换任何此类值，用下划线（“ - ”）替换点（“.”）。例如，“99.9 ”变为“99_9 ”

默认情况下，JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList，那么JMeter还会发送匹配样本名称的指标，前提是配置 summaryOnly=true

PS：右上角可以选择数据展示的时间段和刷新频次！

file:///C:\Users\admin\AppData\Local\Temp\ksohtml\wpsCC85.tmp.jpg （见附件：例3）

jmeter 保持之前的配置不变，运行 采样器。下图是 压测效果

（见附件：例4）

3.3.2、导入图表（Dashboard）模板

如果让大家去设计一个好看的Dashboard，估计大家都不太想从零开始自己设计，其实Grafana官网提供丰富的模版的库，大家可以自己上去找，然后进行二次扩展。

官网模版库：https://grafana.com/dashboards

（见附件：例5）

· 选择下载量最多的，这里需要下载JSON和JMeter-InfluxDB-Writer文件，注意：jmeter的相关配置

· 下载的Meter-InfluxDB-Writer文件拷贝到jmeter安装目录下的 /lib/ext文件夹下，重启jmeter

（见附件：例6）

· 导入JSON模版

（见附件：例7.8.9）

· 选择数据源

（见附件：例10）

· 注意下图红框内的设置：【为了快速查看效果，设置时间都比较短】

（见附件：例11）

· JMeter Backend Listener设置 （相应的线程数和持续时间也可根据需要配置）

（见附件：例12）

· 运行jmeter脚本，查看结果

（见附件：例13）

至此，监控平台搭建完成

梦幻小丑灯

1.2.3、influxdb 连接测试· 以超级管理员运行 influx.exe，打开命令行窗口，依次执行以下命令：
【注意：由于配置文件中开启了登录授权，数据库连接上之后，必须首先创建用户并授权，否则一切操作无效】


· CREATE USER admin WITH PASSWORD 'admin' WITH ALL PRIVILEGES
· auth admin admin
· CREATE DATABASE jmeter
· show databases
· use jmeter
· show measurements
执行最后一个命令，命令行界面显示为空，当前还没有数据。
（图例见附件：图1）


· jmeter配置
jmeter 下载地址： http://jmeter.apache.org/download_jmeter.cgi
· jmeter脚本中添加 “Backend Listener”
· 运行测试
jmeter配置完成后，点击运行测试


（1）结果
树页面：
（图例见附件：图2）


（2） influx.exe 命令行界面，运行  show measurements ，可看到数据：
（图例见附件：图3）


3、安装 Grafana【本部分主要参考文章：https://blog.csdn.net/zuozewei/article/details/82911173】


Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：


1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；


2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；


3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；


4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；


5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；


6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。


官网下载地址：Grafana


3.1、安装并运行
（图例见附件：图4）


我使用的是 msi 安装文件，【注意：安装之前关闭 360 杀毒（如果用的是压缩包，直接解压即可）】
安装好之后，进入 bin 目录，直接双击 grafana-server.exe  运行即可。
通过 msi 文件安装的程序自动进入 服务列表，作为系统服务自动启动，不需要再双击 EXE 运行
（图例见附件：图5）


3.2、配置数据源（1）用浏览器 打开：http://localhost:3000/   。输入： admin  admin  登录,首次登录会提示修改密码


（图例见附件：图6）


2）配置数据源：按照下图中所示操作
（图例见附件：图7。8）




下图红框中是必填项：
（图例见附件：图9.10）
测试连接是否成功
（图例见附件：图11）

梦幻小丑灯

【官网下载地址：https://portal.influxdata.com/downloads/】（下载）
Telegraf(收集数据) —> InfluxDB(存储数据) —> Chronograf(显示数据) —>Kapacitor(处理数据)
与传统数据库中的名词做比较（下载1）

InfluxDB中独有的一些概念

Point由时间戳（time）、数据（field）、标签（tags）组成。（下载2）

1.2、Windows 下的 InfluxDB 安装和运行1.2.1、解压后修改配置文件 influxdb.conf

网络端口说明：

InfluxDB默认使用以下网络端口：

· TCP端口 2003 用于 向 InfluxDB写数据（jmeter通过2003端口连）

· TCP端口 8086 用于 从 InfluxDB读数据（grafana通过8086端口连）

· TCP端口 8088 用于RPC服务以进行备份和还原

· 除了上面的端口，InfluxDB配置文件还提供了多个可能需要自定义端口的插件。

1）influxdb-1.7.8-1解压后的目录下新建3个文件夹，并修改influxdb.conf文件中3个文件夹的路径（注意：Windows下 路径必须用双斜杠"\\"，否则启动报错（图片6-7）

2）修改 graphite 部分

1. [[graphite]]
   
2. 
   
3.   enabled = true
   
4. 
   
5.   database = "jmeter"
   
6. 
   
7.   bind-address = ":2003"
   
8. 
   
9.   protocol = "tcp"
   
10. 
    
11.   consistency-level = "one"

复制代码

3）修改 http 部分 （第4行那几个小星星不知道啥意思，反正官网是这么写的）

1. [http]
   
2. 
   
3.   enabled = true  
   
4. 
   
5.   bind-address = ":8086"
   
6. 
   
7.   auth-enabled = true # ✨
   
8. 
   
9.   log-enabled = true  
   
10. 
    
11.   write-tracing = false  
    
12. 
    
13.   pprof-enabled = false  
    
14. 
    
15.   https-enabled = false

复制代码

1.2.2、命令行启动

CMD到 influxdb 的目录下，直接命令  influxd -config influxdb.conf  启动。

【注意：不能直接 双击 influxd.exe  启动，那样的话刚才的配置是无效的，会造成 jmeter写入influxdb 时报错，

参考：https://blog.csdn.net/qq_35304570/article/details/81290072

（图片8-9）