大数据生态系统架构
HadoopMapReduce属于Hadoop生态体系之一，Spark属于BDAS生态体系之一。
目前Hadoop有两种版本：Apache和CDH版本。
一、优缺点
Apache版本
CDH版本
Kafka和flume对比
kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。
kafka做日志缓存应该是更为合适的，但是flume的数据采集部分做的很好，可以定制很多数据源，减少开发量。所以比较流行flume+kafka模式，如果为了利用flume写hdfs的能力，也可以采用kafka+flume的方式。
Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API。
Kafka：Kafka是一个可持久化的分布式的消息队列。
典型用法：
线上数据->flume->kafka->hdfs->MR离线计算
Spark
Spark算子
Value数据类型的Transformation算子。
Key-Value数据类型的Transformation算子。
Action算子。
Spark模块
Spark core // 核心模块
Spark SQL // SQL
Spark Streaming // 流计算
Spark NLlib // 机器学习
Spark graph // 图计算
Spark Streaming
Spark Streaming是核心Spark API的扩展。
- 数据可以从Kafka、Flume、TCP Socekts等许多资源中获取。可以使用复杂的算法处理。最后，可以将处理过的数据推送到文件系统。
离散流或DStream是有Spark Streaming提供的基本抽象。DStream由一组连续的RDDs表示。
DStream时间窗口。
时间窗口运行Spark Streaming消费过去一段时间（多个批次）内的数据。
Spark SQL和DataFrame
Spark SQL是执行使用基本SQL语法或HiveQL编写的SQL查询。Spark SQL可以从现有的Hive安装中读取数据。
DataFrame是一个分布式数据集，相当于关系数据库中一张表。
DataFrame和RDD的区别
RDD是分布式Java对象的集合。
DataFrame是一种以RDD为基础的分布式数据集，也就是分布式Row对象的集合（每个Row对象代表一行记录）。
加载json数据转为DataFrame算子：
scala> val df=sqlContext.read.json("路径/name.json")
scala> df.show()
学习
页:
[1]
