求教：不同性能工具测出来的指标有明显差异，怎么判断哪个更真实可靠呢？

xaviercd

本人从事测试两年，做性能测试一年，之前的api接口测试一直使用的是来源grinder工具，最近开始尝试同时使用loadrunner11的Java vuser模式进行接口测试。无论是grinder还是loadrunner都使用完全一样的基础类库jar包，测试脚本对基础类库中接口的调用方式和脚本逻辑也完全一样，但是测出来的结果却有明显差异。例如上传小文件测试，同样的并发数和被测系统，grinder测出来的平均TPS是125左右，平均响应时间为5秒左右，但LR11测出来TPS却只有100左右，平均响应时间接近7秒，两种工具测出来的指标相差20%。使用的压力机本身是非常强大的服务器，测试过程中各种资源消耗不到一半，可以排除是LR所用的压力机性能问题，请教各位大虾，到底哪个指标更可靠些呢？或者说应该怎样判定哪种工具的测试结婚更可靠和准确呢？谢谢了

xaviercd

求教大家啊~~~谢谢了

ntgecm

grinder这个没用过，但从lr工作原理看，lr是先封装方法和数据，然后在请求的方式，所以消耗的时间会多点，处理的自然就少了。其实工具只是衡量性能的一种方式，只能用多种工具进行测试，进行综合比较得出结论才能科学的反映系统的性能。
希望能对你有帮助！

xaviercd

ntgecm 发表于 2015-2-12 13:21
grinder这个没用过，但从lr工作原理看，lr是先封装方法和数据，然后在请求的方式，所以消耗的时间会多点， ...

嗯，谢谢您的回复~~~~
不过LR作为世界知名的性能测试工具，如果并发执行效率还不如Grinder这样的开源工具，确实就让人有些失望了~~~

haoyy

采样率可能不一样，得到的结果也会不一样。

sandy-guo

我也想知道哇