大数据篇：Spark安装及测试PI的值

老白的释然

本文运行的具体环境如下：

• centos7.3
• Hadoop 2.8.4
• Java JDK 1.8
• Spark 1.6.3
  

一、安装Hadoop

关于Hadoop的安装，这里就不概述了！


二、安装 Spark

Spark部署模式主要有四种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、YARN模式（使用YARN作为集群管理器）和Mesos模式（使用Mesos作为集群管理器）。
这里介绍Local模式（单机模式）的 Spark安装。

运用winscp将spark-1.6.3-bin-hadoop2.6.tgz上传到master服务器主节点端的/usr/local下，解压

1. sudo tar -zxf spark-1.6.3-bin-hadoop2.6.tgz
   
2. cd /usr/local
   
3. sudo chown -R hadoop:hadoop ./spark       #此处的hadoop为你的用户名

复制代码

安装后，还需要修改Spark的配置文件spark-env.sh

1. cd /usr/local/spark-1.6.3-bin-hadoop2.6
   
2. cp ./conf/spark-env.sh.template ./conf/spark-env.sh

复制代码

编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:

1. export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop-2.8.4/bin/hadoop classpath)

复制代码

有了上面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。配置完成后就可以直接使用，不需要像Hadoop运行启动命令。通过运行Spark自带的示例，验证Spark是否安装成功。

1. cd /usr/local/spark-1.6.3-bin-hadoop2.6
   
2. bin/run-example SparkPi

复制代码

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）

1. bin/run-example SparkPi 2>&1 | grep "Pi is"

复制代码

过滤后的运行结果如下图示，可以得到π 的 近似值：