为何 Jmeter 分布式压测的 TPS 低于单机？

海上孤帆

一、Jmeter 分布式与单机压测概述



Jmeter 分布式压测是一种通过多台机器协同工作来模拟高并发场景的测试方式。其工作原理是选择一台机器作为调度机（Master），负责将压测脚本分发到其他作为执行机（Slave）的机器上。执行机在接收到脚本后开始执行，并将结果回传给调度机，由调度机进行汇总和分析。常见的应用场景包括当单台 Jmeter 并发数达到瓶颈时，需要多台机器来扩大并发数；测试多台服务器时，通过多个 IP 同时压测同一服务器以测试服务器的均衡负载；以及当需要模拟数以万计的并发用户时，单台机器无法满足需求，此时分布式压测就能够发挥作用。


单机压测则是在单台机器上进行压力测试。其工作原理是通过在单台机器上配置线程组、设置并发数、循环次数等参数来模拟用户请求。单机压测常见应用场景包括对单个接口的压力测试，或者针对一些并发需求较小的场景进行测试。然而，单机压测受到单台机器的 CPU、内存、网络等资源限制，能够产生的压力相对有限。
在实际应用中，需要根据具体的测试需求和资源情况来选择采用分布式压测还是单机压测。对于大规模、高并发的测试需求，分布式压测往往是更优的选择；而对于一些简单、小规模的测试场景，单机压测则可能更加便捷和高效。


二、分布式压测 TPS 低于单机的常见原因




1. 网络因素
网络带宽限制和网络延迟是导致分布式压测 TPS 低于单机的常见原因之一。当网络带宽不足时，单位时间内能够传输的数据量受限，大量的请求数据可能无法及时传输到服务器，从而影响 TPS。网络延迟较高则会增加请求的响应时间，导致服务器在单位时间内处理的请求数量减少，进而降低 TPS。
排查网络问题，可以通过 ping 命令查看网络延迟，使用 tracepath 命令分析路由信息。还可以借助专业的网络监测工具，实时监控网络带宽的使用情况。
优化方面，可以增加网络带宽，优化网络传输方式，如使用更高效的协议、减少数据包的大小等。对于分布式压测，确保所有机器处于同一个子网，并检查网络设备的配置是否合理。


2. 资源竞争问题
在分布式环境中，服务器和数据库等资源的竞争可能导致 TPS 下降。例如，多个执行机同时向服务器发送请求，可能导致服务器的 CPU、内存等资源紧张，无法及时处理所有请求。数据库方面，如果多个请求同时竞争数据库连接池中的连接，或者同时对同一数据表进行读写操作，也会影响数据库的处理速度，从而降低 TPS。
解决资源竞争问题，可以增加服务器的硬件资源，如 CPU 核心数、内存容量等。优化数据库配置，包括增加连接池大小、优化索引、合理进行读写分离等。同时，合理分配任务到不同的执行机，避免集中访问某些资源。


3. 配置与参数设置不当
分布式压测中，线程数、并发机制和定时器等配置错误会对 TPS 产生显著影响。线程数设置过多可能导致资源竞争加剧，反而降低处理效率；线程数过少则无法充分发挥分布式的优势。并发机制设置不合理可能导致请求的发送过于集中或分散，影响服务器的处理效果。定时器设置不当可能导致请求发送的节奏不稳定。
正确的设置建议是，根据服务器的性能和测试目标，逐步调整线程数找到最佳值。合理配置并发机制，使请求的发送均匀且符合实际业务场景。精确设置定时器，保证请求发送的平稳和规律。


4. 系统架构差异
分布式与单机系统架构在缓存服务和服务器配置等方面存在不同，这会影响 TPS 表现。分布式系统中，缓存的一致性和命中率可能不如单机系统，导致重复的数据请求增加，降低 TPS。服务器配置方面，分布式环境中的服务器可能存在性能差异，影响整体处理能力。
为了优化分布式系统的 TPS，可以采用高效的分布式缓存策略，提高缓存命中率。对分布式环境中的服务器进行统一配置和优化，确保性能的一致性和稳定性。


三、实际案例中的问题与解决方法


案例展示
曾经在一次对电商网站的接口进行分布式压测时，测试环境包括 5 台配置相同的机器作为执行机和 1 台作为调度机。在压测过程中，发现分布式压测的 TPS 明显低于单机压测。遇到的问题主要有：网络延迟较高，部分执行机与调度机之间的通信出现卡顿；数据库连接池配置过小，导致多个执行机同时请求时出现连接等待；线程数设置不合理，部分执行机出现资源竞争，影响了整体性能。


解决过程
针对网络延迟问题，通过检查网络设备配置，优化路由策略，并确保所有机器处于同一优质网络环境中，降低了网络延迟。对于数据库连接池，根据并发请求量适当增大了连接池的大小，减少了等待时间。在调整线程数方面，根据服务器的性能和压测目标，经过多次测试，找到了最佳的线程数配置，避免了资源竞争，最终提高了分布式压测的 TPS ，使其达到了预期水平。同时，还对压测脚本进行了优化，减少了不必要的请求和数据处理，进一步提升了性能。


四、避免分布式压测 TPS 过低的要点与建议


1. 前期规划
在进行分布式压测之前，充分的前期规划至关重要。首先，需要对系统性能进行全面评估，包括服务器的硬件配置（如 CPU、内存、磁盘 I/O 等）、网络带宽和稳定性等。例如，对于 4C8G 的服务器，需要预估其能承受的大致并发量。同时，要明确测试目标，是要测试系统在特定并发下的响应时间，还是要找出系统能够承受的最大 TPS 等。此外，还应考虑系统的业务特点和预期负载情况，确定合适的压测场景和压力模型。


2. 过程监控
在压测过程中，实时监控关键指标能帮助及时发现潜在问题。重点关注的指标包括但不限于服务器的 CPU 利用率、内存使用情况、网络带宽占用率、TPS 数值变化、响应时间等。可以使用工具如 nmon 监控服务器资源，通过 JMeter 的自带监控组件查看 TPS 和响应时间。一旦发现某一指标异常，如 CPU 利用率突然飙升或 TPS 急剧下降，应立即分析原因。可能是某个服务出现瓶颈，或者是数据库查询耗时过长等。


3. 后续优化
压测完成后，根据结果进行针对性的优化。如果是服务器资源不足，如 CPU 或内存达到瓶颈，可以考虑升级硬件或优化系统配置。对于数据库相关问题，优化索引、增加缓存、调整连接池大小等措施可能会有所帮助。如果是网络问题，优化网络拓扑结构、增加带宽或使用更高效的网络协议可能是解决之道。此外，还可以对压测脚本进行优化，去除不必要的请求和参数，提高脚本的执行效率。同时，不断复盘压测过程，总结经验教训，为后续的压测和优化工作提供参考。