51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 2147|回复: 1
打印 上一主题 下一主题

[在学] 如何做好大数据应用性能测试?需要用到哪些脚本和工具?

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2018-8-27 11:48:13 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
老师,
我正在做我们公司大数据产品测试,但是产品以前公司也没做过,目前也是摸索前行,我也是借此机会第一次接触大数据测试,看了您的大数据测试密钥后,想知道若想做好大数据产品的性能测试,您提到了脚本,那么应该编写的脚本一般都是用来测哪些功能的?还有做好大数据性能测试需要借助哪些工具完成哪些测试任务?希望您能指导我一下,谢谢!还有哪些见效快一些的相关课程?


在学课程:
头号玩家之大数据测试密钥
http://www.atstudy.com/course/673
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

该用户从未签到

2#
发表于 2018-8-27 11:54:56 | 只看该作者
首先需要区分性能与功能,先说下功能,一般而言针对大数据要校验的是数据流的完整性,准确性,数据的抽取处理重新加载可以通过市面上的ETL工具来解决(ETL工具有很多,开源的如kettle等),需要注意的是数据处理后的结果是否到达了预期,这就是针对于ETL的数据处理校验,可以通过脚本(python/Java + SQL语句)来进行校验;

其次接口,由于大数据平台的数据来源于众多,需要验证接口间的数据传递是否准确,这个其实和一般意义上的接口测试大同小异,只是普通接口测试返回的是一个,几个,一组数据,而大数据平台的接口间传输返回的是一个数据集;原理相同,只是传递的数据量的大小而已;

最后提一下性能,如果只是针对于大数据平台的话,那么这个和基于普通Web端服务器的压测原理基本相同,同样可以通过LR来实现不同场景下的压测,并发等性能测试;如果要深入到大数据本身的组建性能调优的话,那么就需要对大数据框架生态圈中的组建有相应的理解了,如何做到资源调度调优等,这些就更偏技术性了, 比如Hadoop自带的基准测试工具有TestDFSIO用于测试HDFS的IO性能;

另外市面上的大数据测试工具,目前看来没有特别完备的,正如刚才提到了,仅仅是大数据平台的压测,完全可以通过LR完成,或者第三方云性能测平台;对于内部组件的调优,hadoop,spark都本身自带性能测试组件工具;

最后的最后,大数据本身就是基于云计算,虚拟化的基础上才发展起来的,要想速成还是不太现实,只能说基于自己目前的技术,JAVA,python, SQL语句必须牢牢掌握,同时最好了解大数据框架hadoop, spark中的组件如何协调工作;这些都是大数据测试工程师必备的核心知识
回复 支持 反对

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-10 21:56 , Processed in 0.065344 second(s), 22 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表