浅谈存储测试

lsekfe

背景
　　现有存储无法满足发展需要，选择多个存储提供商进行比对，最终选择最佳方案。
　　分布式存储简介
　　分布式存储系统一般是由多个服务器、网络设备和很多存储介质组成。即使在手动部署测试环境的时候，所涉及的系统架构也会是比较复杂的。
　　在测试前，需要根据不同的测试类型采用不同的硬件设备。譬如硬盘的规格（SATA盘还是SSD盘），内存规格，以及不同的网络类型（TCP/IP、FC、RDMA）等。
　　测试过程
　　运维
　　通过fio和Iometer进行块文件（4K、4M、512K）分层测试，比对IOPS和MBPS。
　　fio使用方法
　　100%随机，100%读，4K。
　　fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100read_4k
　　100%随机，100%写， 4K
　　fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100write_4k
　　100%顺序，100%读 ，4K
　　fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100read_4k
　　100%顺序，100%写 ，4K
　　fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100write_4k
　　100%随机，70%读，30%写 4K
　　fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=randrw_70read_4k


　　测试方法
　　1.根据公司业务需求，多节点并发至存储（jmeter），观察存储的IOPS、MBPS、CPU等数据信息（运维监控工具），整理数据给存储提供商进行调优。
　　2.大小文件的拷贝测试（robecopy命令发至存储服务器），5G小文件和20G大文件拷贝，观察存储的IOPS、MBPS、CPU等数据信息，整理数据给存储提供商进行调优。
　　ssd调优
　　调整网卡大小
　　cpu配置调优
　　配置fs-cache
　　分布式调优
　　单机头多机头，根据业务需求配置。