从外部看,性能测试主要关注如下三个指标 吞吐量:每秒钟系统能够处理的请求数、任务数。 响应时间:服务处理一个请求或一个任务的耗时。 错误率:一批请求中结果出错的请求所占比例。 响应时间的指标取决于具体的服务。如智能提示一类的服务,返回的数据有效周期短(用户多输入一个字母就需要重新请求),对实时性要求比较高,响应时间的上限一般在100ms以内。而导航一类的服务,由于返回结果的使用周期比较长(整个导航过程中),响应时间的上限一般在2-5s。 对于响应时间的统计,应从均值、.90、.99、分布等多个角度统计,而不仅仅是给出均值。下图是响应时间统计的一个例子 吞吐量的指标受到响应时间、服务器软硬件配置、网络状态等多方面因素影响。 吞吐量越大,响应时间越长。 服务器硬件配置越高,吞吐量越大。 网络越差,吞吐量越小。 在低吞吐量下的响应时间的均值、分布比较稳定,不会产生太大的波动。 在高吞吐量下,响应时间会随着吞吐量的增长而增长,增长的趋势可能是线性的,也可能接近指数的。当吞吐量接近系统的峰值时,响应时间会出现激增。 错误率和服务的具体实现有关。通常情况下,由于网络超时等外部原因造成的错误比例不应超过5%%,由于服务本身导致的错误率不应超过1% 。
重要通知:博为峰网校助力2017求职季,特别推出测试集训营,更多精品课程打折、送券……惊喜不停歇,最低五折起限时抢购,快来~
|