51Testing软件测试论坛

标题: 抛砖引玉----个人大数据测试小结 [打印本页]

作者: 天天酷派哦    时间: 2018-4-10 13:50
标题: 抛砖引玉----个人大数据测试小结
1.ETL测试

    ETL, Extract-Transform-Load 的缩写,将数据从来源端经过抽取(extract)、转换(transform)、加载
(load)至目的端的过程.

   ETL工具较多,用过的是informatica.它从目标表抽取数据加载到结果表 hive<-->数据库.

   测试思路:

     a.测试抽取的符合条件的数据总量;

     b.报表字段类型转换测试;

     c.报表字段特殊值测试(空,null,复合型字符);

     d.根据sql过滤条件进行造数测试;

     e.根据业务场景进行造数测试;

     f.开发创建的报表/报表字段和测试报表进行对比测试;

     g.开发条件过滤sql初步遍历看有无明显语法错误测试;

     h.报表拉数耗费时间测试;

     j.报表大批量数据拉取性能测试.

用过informatica的同学都知道它有四个界面段,基于开发写的sql,报表字段,数据库连接串,errorlog都能从里
面获取到信息,建议当工具拉数报错时,自己能更改的错误自己就直接改了(当然事后别忘记告诉开发更新)。



2.Linux环境的shell脚本测试.

   一般shell脚本都是基本 数据库-->hive-->数据库的过程,也就是 hive的一个import 和 export的过程,需要涉
及的知识面:基本的linux命令,shell脚本命令,hivesql,hdfs命令.

     因为shell脚本测试有些时候是基于需要直接更改报表在hdfs路径下的数据文件,本人是建议测试完全掌握这
一块的,毕竟公司部门的shell脚本一般都是有一个统一格式的.

     测试思路:

      1.遍历shell脚本查看开发输出的脚本是否正确(命名规范,脚本内容,调用函数,日志打印,异常检查机制);

2.遍历oracle/mysql/hive等建表语句(包含报表名称,报表字段,报表hdfs路径,索引创建,分区创建);

3.import/export报表数据总量;

4.import/export报表数据的脚本运行时间;

5.数据库--hive 的数据类型转换;

6.历史数据报表的历史数据量;

7.一些简单的sql语句优化..

  hive报表主要涉及的都是一些数据传输过程,然后在hive里面使用sql进行一些逻辑计算,最后得出结果再把数
据传输出去,所以主要关注点都在hive这一块。



3.kafka/scala

这个是目前正在做的项目,涉及到的kafka以及scala语言均需要补充新知识,scala语言相对好一点,是类似sql的
一种写法,主要是在kafka中进行计算然后进行一个接口数据传输,从测试角度来看,涉及到:需求确定的逻辑
计算方式 ,需求确定的各字段名称,需求确定的取数范围(标识,时间,状态),考虑报表历史数据量大小对性
能的影响,基于服务器大小对各报表历史数据保存时间的确定,json串数据传输.


作者: 梦之韵    时间: 2018-4-15 00:15
还不错
作者: libingyu135    时间: 2018-4-24 16:02
学习了
作者: libingyu135    时间: 2018-4-24 16:02
学习了
作者: 赵佳乐SMILE    时间: 2019-4-9 17:45
学习
作者: 海海豚    时间: 2019-4-23 18:30
哇,受教了
作者: ff411    时间: 2019-4-30 11:23
我觉得数据抽取规则也很重要




欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2