ETL测试参考文档

樱花季节 · 发表于 2010-10-26 16:46:04

本帖最后由樱花季节于 2010-10-26 16:47 编辑

ETL测试参考文档

本文档主要介绍ETL测试的流程，以及一般的项目情况来说明ETL的测试方法。
ETL测试流程图

测试环节
1、需求分析

熟悉业务流程和业务规则，根据需求分析出源表与目标表以及之间的mapping关系，解析出业务的数据流图：

1、测试分析
测试点：
ETL常规检查：
1.ETL脚本是否有运行错误，脚本运行时间(看执行计划)
2.ETL脚本的错误处理机制是否完整(代码review)
3.ETL脚本是否支持回滚
业务逻辑检查：
1.数据量的检查。核对记录数是否和预期一致
2.唯一性检查。
  主键是否重复(cookie_id,member_id是否重复)
3.业务字段转换正确性检查。指标计算是否正确.抽样检查。
  源表和目标表各取一定数量记录，判断字段映射是否正确(映射字段)。
  指标计算是否正确(指标计算字段)
4.随机性验证(随机取几条数据，看是否有乱码，异常数据等。

测试重点
项目中的关键业务，复杂逻辑部分作为测试重点
用例划分说明:
按每个指标设计用例。
测试策略：
测试策略：增量测试(逐步提交测试)
测试方法：基于查询的测试(预期结果基于sql来展现，做到数据变化，结果不变。另外便于回归)
2、标准数据集构建
造数据分2个方面，1个是直接抽取线上的数据1个是用脚本造异常数据。
3.1 利用dblink抽取线上的数据。抽取线上数据时，需要注意，测试数据的全面性。即测试数据全面覆盖。比如sex字段，在抽取线上数据时，需要抽取到male、female情况，而不能仅仅是male或female，这样测试数据就会缺失。对于有关联的表进行数据抽取时，可以先抽取主表，然后根据主表的数据有条件的抽取子表。
3.2 造异常数据，异常数据可以从下面几个方面进行考虑：字段类型、字段长度、空值、业务异常值、唯一约束值
3、测试用例设计
测试用例可以单独设计，也可以采用调度的思想进行设计，采用调度方法进行设计时，能一次验证多个用例，另外也方便回归。这里说一下调度思想的测试用例的设计思路。
设计思路：

总调脚本：
CREATE OR REPLACE PACKAGE BODY PKG_KPI_TC IS
PROCEDURE SCHEDULER(
  /*********************************************************************
  *parameter:
  *authoer XIANGMIN.MENGXM
  *time 2009-6-26
  *
  *********************************************************************/
  P_DATE IN DATE DEFAULT TRUNC(SYSDATE))
  IS
  V_DATE             DATE := TRUNC(P_DATE);
  BEGIN
DELETE FROM test_map WHERE yyyymmdd = v_date;
COMMIT;--调度之前先清空测试表
REF_KPI_TC_001(v_date);--用例1
REF_KPI_TC_002(v_date);--用例2
      END;
END PKG_KPI_TC;

测试用例1
CREATE OR REPLACE PROCEDURE REF_KPI_TC_001(P_DATE IN DATE DEFAULT TRUNC(SYSDATE)) IS
  V_id       NUMBER;
  V_DATE          DATE := TRUNC(P_DATE);
  BEGIN
SELECT  a.id into v_id FROM  src_a;
INSERT INTO test_map(YYYYMMDD,id,x) VALUES(v_date,v_id,x);
  COMMIT;
END;

1、测试结果验证
Exec procedure_();--得出被测脚本的结果
Exec REF_KPI_TC_001();得出测试结果

结果验证：
第一步先验证记录数是否一致，如果记录数不一致，则一定存在问题，检查问题，找出原因。
第二步在记录数一致的情况下，检查值是否正确。
方法1：巧用minus
SELECT * FROM target_a
MINUS
SELECT * FROM test_map;
--注意，此处一定要调换2个表的位置进行比较。Minus函数在进行比较时，以第一张表为准，找出第一张表中与第二张表不一致的地方。即：找出sumdt0表中与map表不一致的结果
方法2：写脚本进行验证
2、发布后
在相关平台观察数据趋势，数据监控。项目发布后，我们可以观察数据的波动趋势，一般来说数据的波动是在一定范围，遵循一定原则的，如果发现数据波动超出了预计范围，这个时候就需要特别注意了。

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/shahaizimxm/archive/2010/09/19/5895194.aspx