【我分享】分享发现的一个性能瓶颈问题

张亚洲

1.某个服务器后台web假设分为3个部分，第一个部分将用户数据收集写成文件存放硬盘，第二个部分读文件，将文件进行分析，再写文件到硬盘，第三个部分读取文件进行分析将数据库写入数据。
2.现要求测试第3个部分的性能，希望部署多个第3个web应用可以处理更多的数据，将数据处理能力提高。
3.测试方法，部署1台第3的web，记录处理时间，数据库每小时增长的数据量。部署2台第3的web服务，记录处理时间，数据库每小时增长的数据量。
4.发现问题，数据库每小时的数据增长量没有明显提高，发现问题，第3后台日志readfiletime的时间过大。
5.分析决断性能处理瓶颈，部署4台第3服务仍然发现每小时数据增长量没有明显提高，因此断定Mysql数据处存在瓶颈。readfiletime时间过高，经过监控系统性能各项参数发现IOWAIT时间过高，于是断定是由于程序频繁读取文件导致性能下降。
6.解决问题，优化mysqlserver参数，对mysql数据库做分布式处理，多线程读取文件时间策略改变，将文件全读入内存然后再截取，或者过很长一段时间再读取。
7.由此我的服务器端的系统性能问题解决。

原文：http://myeyeofjava.iteye.com/blog/1464134