51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

测试开发精英班,通向高级软件测试工程师【好消息】企业内训服务上线啦!项目为王,自动化测试提升加速器 !横扫BAT,Python全栈测试开发技能大全
【第123期】:入行2年多测试如何渡过职业迷茫期?参与调查问卷 缔造行业趋势 月薪15K+的测试开发必备技能? 【活动】为视频UP主打CALL,互动领福利!
12
返回列表 发新帖
楼主: lsekfe

Day 8-2: 大数据测试系列问题!(答案公布)

[复制链接]
  • TA的每日心情
    慵懒
    2021-1-20 10:46
  • 签到天数: 25 天

    连续签到: 1 天

    [LV.4]测试营长

    发表于 2018-1-4 10:59:32 | 显示全部楼层
    大数据测试实现被分成三个步。
      Step 1:数据阶段验证
      大数据测试的第一步,也称作pre-hadoop阶段该过程包括如下验证:
      ·  来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统
      ·  将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配
      ·  验证正确的数据被提取并被加载到HDFS正确的位置
      该阶段可以使用工具Talend或Datameer,进行数据阶段验证。
      Step 2:"MapReduce"验证
      大数据测试的第二步是MapReduce的验证。在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:
      ·  Map与Reduce进程正常工作
      ·  在数据上实施数据聚合或隔离规则
      ·  生成键值对
      ·  在执行Map和Reduce进程后验证数据
      Step 3:输出阶段验证
      大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件,同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:
      ·  检查转换(Transformation)规则被正确应用
      ·  检查数据完整性和成功的数据加载到目标系统中
      ·  通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2021-1-20 10:46
  • 签到天数: 25 天

    连续签到: 1 天

    [LV.4]测试营长

    发表于 2018-1-4 11:00:08 | 显示全部楼层
    梦想家 发表于 2018-1-2 17:22
    大数据测试实现被分成三个步。
      Step 1:数据阶段验证
      大数据测试的第一步,也称作pre-hadoop阶段 ...

    太官方了,看不懂
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /2 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2021-12-1 12:06 , Processed in 0.057022 second(s), 26 queries .

    Powered by Discuz! X3.2

    © 2001-2021 Comsenz Inc.

    快速回复 返回顶部 返回列表