抛砖引玉----个人大数据测试小结

天天酷派哦 · 发表于 2018-4-10 13:50:27

1.ETL测试

ETL， Extract-Transform-Load 的缩写，将数据从来源端经过抽取（extract）、转换（transform）、加载
（load）至目的端的过程.

ETL工具较多，用过的是informatica.它从目标表抽取数据加载到结果表 hive<-->数据库.

测试思路:

   a.测试抽取的符合条件的数据总量；

   b.报表字段类型转换测试；

   c.报表字段特殊值测试(空,null,复合型字符)；

   d.根据sql过滤条件进行造数测试；

   e.根据业务场景进行造数测试；

   f.开发创建的报表/报表字段和测试报表进行对比测试；

   g.开发条件过滤sql初步遍历看有无明显语法错误测试；

   h.报表拉数耗费时间测试；

   j.报表大批量数据拉取性能测试.

用过informatica的同学都知道它有四个界面段，基于开发写的sql，报表字段,数据库连接串，errorlog都能从里
面获取到信息，建议当工具拉数报错时，自己能更改的错误自己就直接改了（当然事后别忘记告诉开发更新）。

2.Linux环境的shell脚本测试.

一般shell脚本都是基本数据库-->hive-->数据库的过程，也就是 hive的一个import 和 export的过程，需要涉
及的知识面：基本的linux命令，shell脚本命令，hivesql，hdfs命令.

   因为shell脚本测试有些时候是基于需要直接更改报表在hdfs路径下的数据文件，本人是建议测试完全掌握这
一块的，毕竟公司部门的shell脚本一般都是有一个统一格式的.

   测试思路:

   1.遍历shell脚本查看开发输出的脚本是否正确(命名规范，脚本内容，调用函数，日志打印，异常检查机制)；

2.遍历oracle/mysql/hive等建表语句(包含报表名称，报表字段，报表hdfs路径，索引创建，分区创建)；

3.import/export报表数据总量；

4.import/export报表数据的脚本运行时间；

5.数据库--hive 的数据类型转换；

6.历史数据报表的历史数据量；

7.一些简单的sql语句优化..

  hive报表主要涉及的都是一些数据传输过程，然后在hive里面使用sql进行一些逻辑计算，最后得出结果再把数
据传输出去，所以主要关注点都在hive这一块。

3.kafka/scala

这个是目前正在做的项目，涉及到的kafka以及scala语言均需要补充新知识，scala语言相对好一点，是类似sql的
一种写法，主要是在kafka中进行计算然后进行一个接口数据传输，从测试角度来看，涉及到：需求确定的逻辑
计算方式，需求确定的各字段名称，需求确定的取数范围(标识，时间，状态)，考虑报表历史数据量大小对性
能的影响，基于服务器大小对各报表历史数据保存时间的确定，json串数据传输.