51Testing软件测试论坛

标题: 大数据测试 VS 传统数据库测试 & 测试环境需求 [打印本页]

作者: 乐哈哈yoyo    时间: 2019-2-19 15:40
标题: 大数据测试 VS 传统数据库测试 & 测试环境需求
本帖最后由 乐哈哈yoyo 于 2019-2-19 15:42 编辑

大数据测试 VS 传统数据库测试


类型

传统数据库测试

大数据测试

数据

结构化数据

结构化数据和非结构化数据

测试方法是明确定义和时间测试

测试方法需要集中的研发工作(R&D efforts)

测试人员可以选择“Sampling”策略进行手动或可以选择“Exhaustive Verification”策略进行自动化测试

"Sampling"策略在大数据测试有很大的挑战

基础设施

不需要特殊的测试环境,因为文件大小有限

需要特殊的测试环境,因为大数据量和文件(HDFS)

验证工具

测试程序使用基于Excel的宏或基于UI的自动化工具

没有定义的工具,范围很广从编程工具如MapReduce到HIVEQL

拥有基本的操作知识和较少的培训就可以使用测试工具

需要一套特定的技能和培训来操作测试工具。此外,工具处于新生阶段,随着时间的发展也许会带来新的功能。





测试环境需求


测试环境需求取决于要测试的应用程序的类型。对于大数据测试,测试环境应包括:

1.它应该有足够的空间用于存储和处理大量的数据

2.它应该具有分布式节点和数据的集群

3.它应该具有最低的CPU和内存利用率,以保持性能高




大数据场景使用的工具


大数据集群

大数据工具

NoSQL

CouchDB, MongoDB, Cassandra, Redis, ZooKeeper, Hbase

MapReduce

Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume

Storage

S3, HDFS ( Hadoop Distributed File System)

Servers

Elastic, Heroku, Elastic, Google App Engine, EC2

Processing

R, Yahoo! Pipes, Mechanical Turk, BigSheets, Datameer




作者: 海海豚    时间: 2019-2-25 09:51
哇!学习新知识




欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2