51Testing软件测试论坛

标题: 大数据篇：Spark安装及测试PI的值 [打印本页]

作者: 老白的释然 时间: 2019-2-27 16:38
标题: 大数据篇：Spark安装及测试PI的值

本文运行的具体环境如下：

centos7.3
Hadoop 2.8.4
Java JDK 1.8
Spark 1.6.3

一、安装Hadoop

关于Hadoop的安装，这里就不概述了！

二、安装 Spark

Spark部署模式主要有四种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、YARN模式（使用YARN作为集群管理器）和Mesos模式（使用Mesos作为集群管理器）。
这里介绍Local模式（单机模式）的 Spark安装。

运用winscp将spark-1.6.3-bin-hadoop2.6.tgz上传到master服务器主节点端的/usr/local下，解压

sudo tar -zxf spark-1.6.3-bin-hadoop2.6.tgz
cd /usr/local
sudo chown -R hadoop:hadoop ./spark #此处的hadoop为你的用户名

复制代码

安装后，还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark-1.6.3-bin-hadoop2.6
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

复制代码

编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop-2.8.4/bin/hadoop classpath)

复制代码

有了上面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。配置完成后就可以直接使用，不需要像Hadoop运行启动命令。通过运行Spark自带的示例，验证Spark是否安装成功。

cd /usr/local/spark-1.6.3-bin-hadoop2.6
bin/run-example SparkPi

复制代码

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）

bin/run-example SparkPi 2>&1 | grep "Pi is"

复制代码

过滤后的运行结果如下图示，可以得到π 的近似值：
[attach]122370[/attach]

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)