橙子0012 发表于 2018-2-28 14:26:52

大型网站压力测试及优化方案


[*]木桶理论应用在系统优化中
[*]压力测试如何实施
[*]常用压力测试工具选型
[*]如何监控系统资源,定位性能瓶颈
[*]针对测试报告进行针对性优化
[*]使用JMeter进行压力测试实践


木桶理论应用在系统优化中

木桶理论又称短板理论,其核心思想是一只木桶盛水多少,并不取决于最高的木板,而取决于最短的
那块木板。
木桶原理应用在系统分析中,即系统的最终性能取决于系统中性能表现最差的组件,为了提升系统整
体性能,对系统中表现最差的组件进行优化可以得到最好的效果。



https://images2015.cnblogs.com/blog/524341/201612/524341-20161215143419136-712510254.jpg



在网站系统中,用户的访问请求到达服务器,然后服务器返回数据并展示给用户,这个过程要经过
很多处理,每一个过程的低效都会影响系统整体表现出来的性能。

按照木桶理论,如果一台服务器性能非常强大,拥有充足的内存资源和CPU资源,但是磁盘I/O性
能不足,那么系统的总体性能是取决于当前最慢的磁盘I/O速度,而不是当前最优越的CPU或者内
存,此时,磁盘I/O就是系统的性能瓶颈。

典型的比如使用Redis进行存储的系统,由于Redis本身性能非常优秀,通常情况下存储并不会制
约系统的性能,在海量请求的情况下,Redis的吞吐量会非常大,这时候制约系统的性能瓶颈就变
成网络带宽。


压力测试如何实施性能测试在大型网站系统的设计和开发中非常重要,通常会和容量预估等工作结合在一起,穿插在
系统开发的不同方案。
性能测试可以帮助我们及时发现系统的性能短板,评估系统的能力,在这个基础在上再进行针对性
的性能优化。
同时,压力测试还可以帮助我们验证系统的稳定性和可靠性。

一个完整的性能测试方案通常包括以下几个方面:
1.压力测试及生成性能报告压力测试一个重点是如何产生压力,通常可以通过自己编写脚本模拟请求,或者使用成熟的压测工
具进行。
压力测试很重要的一点是如何使得模拟压测的数据尽量真实,越接近真实用户越好。
2.根据性能报告定位系统瓶颈,进行针对性优化,测试和优化的工作可以和日常开发并行压力测试完
成以后,我们会拿到一个压测报告,这个报告通常会告诉我们系统的QPS、TPS、响
应时延等数据,
这些数据可以让我们对服务器的性能有个整体的了解,发现存在的问题,但是不能帮助我们定位问题。

这个时候我们可以从系统的各个组件入手,关注系统的CPU、内存、IO、网络,对比这些环节对整
体性能的影响,确定性能问题是系统哪一部分造成的,然后针对性的在系统中逐个优化。
3.估算容量承载能力,合理规划系统资源进行压力测试的一个重要目的是让现有的服务器资源发挥最大的价值,
经过前期的测试和分析,这时候我们对系统整体的性能有了一个认识,对服务器的承载能力有了预估,
这个时候我们就可以结合业务规模配置服务器数量,CDN资源等,让最少的资源产生最大的价值。
常用压力测试工具选型压力测试很关键的一点是如何产生压力,选择哪款测试工具很重要,大的互联网公司如百度/腾讯
等,都有专门的测试开发团队,开发公司内部应用的测试工具,以便更好的适应公司的业务,作为
SAAS服务的重要部分,几个云服务提供商也纷纷开放了压测及性能监控服务。
大多数公司还是会选择自己完成测试工作,这里关注一下常用的压力测试工具。


橙子0012 发表于 2018-2-28 14:29:05

4.进行基准测试并分析调优结果数据说明一切,性能优化的结果不能简单的通过 “感觉系统变快了”来衡量,最好是通过对比优化前后
的测试结果,用图表的方式直观的把优化结果展示出来。基准测试是指通过设计科学的测试工具和方
式方法,实现对一类测试对象的某项性能指标进行定量的和可对比的测试。对比测试结果,结合容量
评估等工作,可以让系统发挥最大的效用。

一个阶段的优化工作完成以后,最好是总结反思一下,比如本次优化是否达到了目标?系统的整体性
能是否得到了改善?用户体验是否得到了提升?以及如何在接下来的开发工作中做的更好。
使用JMeter进行压力测试实践JMeter是目前流行的测试工具,这里简单的介绍一下相关的应用。
1.JMeter安装与使用Linux下可直接下载安装,MAC系统进入http://jmeter.apache.org/download_jmeter.cgi,下
载apache-jmeter-3.1.tgz。
下载完毕后解压,得到安装包,进入到进入解压目录/bin/,单击jmeter图案,即可启动JMeter。
2.基本组件简介应用JMeter需要熟悉一些基本的概念,这是编辑测试计划的界面:

https://images2015.cnblogs.com/blog/524341/201612/524341-20161215144438979-587705594.png

(1)Threads 线程组
这个组件主要用来控制Jmeter并发时产生线程的数量,在它的下一级菜单下只有一个组件(线程组),
可以这么理解每个线程就是一个虚拟的用户。所有的其他类型组件必须是(线程组)节点的子节点。

(2)ConfigElement 配置单元
和Sample组件一起工作,主要用来配置Sample如何来发起请求访问服务器,这个东西的主要特点是
可以把一些Sample的共同配置放在一个元素里面方便管理,配置单元是有作用域的。作用域和树的那
个关系一样越是上级节点的作用域越大,越是接近叶子节点的
作用域就越小,可以复写上级作用域的配置。

(3)Timer 定时器
这个主要是用来调节(线程组),控制线程每次运行测试逻辑(比如说:发出请求)的时间间隔。当
然这个下面还有很多类型的定时器,他们主要功能就是调节时间间隔,但个个组件之间的策略有很大
不同。


橙子0012 发表于 2018-2-28 14:29:23

(4)Pre Processors 前置处理器 / Post Processors 后置处理器
类似一个HOOK,在测试执行之前和执行之后执行一些脚本的逻辑。该组件我还没有具体使用过,但大
致功能就是这样,非重点组件。

(5)Assert 断言
是指对于Sample完成了请求发送之后,判断一下返回的结果是否满足期望。

(6)Listener 监听器
这个组件不同于平时在Web编程的那种监听器,他是伴随着Jemeter测试的运行而从中抓取运行期间的
数据的一个组件,经常使用的是聚合报告组件,从里面可以统计到测试的TPS,响应时间等关键测试数据。
3.进行第一个测试(1)设置线程组参数
首先在TestPlan下面添加一个ThreadGroup组件,设置线程组组件各项参数。

https://images2015.cnblogs.com/blog/524341/201612/524341-20161215143740417-765534761.png
线程数:最大测试时使用的线程数。
Ramp-Up Period : Jmeter达到指定最大线程数的时间。
循环次数 : 如果是Forever,线程组中的线程将不间断的连续测试系统,当然也可以设置每个线程测试
的次数,当完成了规定次数后,该线程将自动退出线程组。

(2)添加Sampler信息
保存线程组后,接着在线程组下面添加Sample组件,我们添加一个HTTP Request组件,
设置属性如下图:
https://images2015.cnblogs.com/blog/524341/201612/524341-20161215143813214-349111642.png

Sampler表示客户端发送某种格式或者规范的请求到服务端,所以有各种各样的Sampler,如FTP/JDBC等。
这里我添加了一个针对百度百科首页的访问请求,端口为80,使用http协议。

(3)添加聚合报告的监听器组件
添加一个Aggregate Report的listener的监听器组件。
Aggregate Report 是 JMeter 常用的一个 Listener,中文被翻译为“聚合报告”。

(4)启动运行
点击RUN运行测试即可。然后可以看到本次测试的Aggregate Report。
https://images2015.cnblogs.com/blog/524341/201612/524341-20161215143845214-588140841.png


梦想家 发表于 2018-2-28 15:58:10

赞一个

梦想家 发表于 2018-2-28 15:58:18

谢谢分享辛苦了楼主

Miss_love 发表于 2020-12-30 09:49:50

支持分享
页: [1]
查看完整版本: 大型网站压力测试及优化方案