电子政务行业的数据中心测试

樱花季节

电子政务行业的数据中心测试
电子政务行业的数据中心搭建结构图：




根据数据中心的系统特点，测试重点可以从下面几个方面着手：
1、抽取方案稳定性测试：抽取方案的稳定性，如果源系统数据库表结构有改变，能否保证ETL抽取方案不变或者微变。


2、数据传送方案合理性测试：源系统以何种形式把数据提供给前置机？数据的形式库或者文件的形式传送？前置机数据以何种形式提供给数据中心核心库？是源系统主动推送还是采集工具主动抽取？


3、抽取策略的合理性测试：全量抽取或者增量抽取。源系统的数据采用全量抽取，或者是增量抽取？
  对于增量抽取，如何捕捉变化的数据？如新增、修改、删除等变化数据的处理？
增量抽取时间戳字段的选择？


4、数据抽取与加载业务逻辑关系测试：数据表之间是否存在关联、依赖关系，如a表数据还未采集完成或者没有采集，是可以开始b表数据的采集，加载也一样，是否依照了业务关系文档？


5、历史记录的处理方案测试：数据库表是否需要保存历史记录？保留历史记录的方式？拉链记历史？


6、加载策略的测试：1、trunctae and insert.直接清空目标表，然后把新的数据加载进去。2、append.先根据规则清除当天的记录，然后把当天的新数据追加进去。3、update and insert.用新数据与目标表中的历史数据进行比较，有变化的则更新，新记录则直接插入到目标表中。


7、数据延迟的范围的测试：包括前置机与源数据库的数据延迟，前置机与数据中心的数据延迟，测试是否达到需求标准


8、数据断层的测试：数据中心的数据根据业务进行关联，是否存在数据孤岛，即关联不上的数据？


9、数据采集工具本身的功能是否需要涉及?如数据工具自带的多配置功能


10、采集任务定时调度测试：采集任务是否支持可配置？定时调度？


11、数据质量的分层测试：包括odl(源数据层)、bdl（基础数据层）、idl（接口数据层）、adl（应用数据层）

樱花季节

电子政务的数据中心系统架构一般是：
政务中心核心库->共享服务器（用来给前置机提供数据）->前置机（用来进行数据抽取）->数据中心->数据中心整合服务器->（用来进行数据处理，一般包括几个层面：odl【把源系统数据原样抽取过来】-bdl【数据清洗转换、历史记录处理】-idl【数据轻度整合】-adl【应用层，数据根据业务主题进行分析与汇总，提供给第三方使用】）->数据中心共享服务器（整合后的数据通过共享的形式提供给第三方使用）->第三方