Spark集群安装部署

测试积点老人

1、安装前准备

    a. 确保hadoop已安装完毕

    b. 确保scala已安装完毕

        下载scala-2.11.8.tgz

1. cd /usr/app
   
2. tar -zxvf scala-2.11.8.tgz
   
3. mv scala-2.11.8 scala
   
4. 
   
5. #添加环境变量
   
6. vi /etc/profile
   
7.   #添加内容
   
8.   SCALA_HOME=/usr/app/scala
   
9.   export PATH=$PATH:$SCALA_HOME/bin
   
10. source /etc/profile
    
11. 
    
12. #验证，输入scala
    
13. [centos@s0 ~]$ scala

复制代码

2、下载spark-2.1.0-bin-hadoop2.7.tgz

1. cd /usr/app
   
2. tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
   
3. mv spark-2.1.0-bin-hadoop2.7.tgz spark
   
4. 
   
5. #添加环境变量
   
6. vi /etc/profile
   
7.   #添加内容
   
8.   SPARK_HOME=/usr/app/spark
   
9.   export PATH=$PATH:$SPARK_HOME/bin
   
10. source /etc/profile

复制代码

3、配置/usr/app/spark/conf/spark-env.sh文件

1. JAVA_HOME=/usr/app/jdk
   
2. SPARK_MASTER_HOST=s0
   
3. HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
   
4. #默认1G
   
5. SPARK_EXECUTOR_MEMORY=512M
   
6. #默认1G
   
7. SPARK_DRIVER_MEMORY=512M
   
8. #默认8080
   
9. SPARK_MASTER_WEBUI_PORT=18080
   
10. #默认8081
    
11. SPARK_WORKER_WEBUI_PORT=18081

复制代码

4、配置/usr/app/spark/conf/slaves文件

1. s1
   
2. s2
   
3. s3

复制代码

5、将scala、spark通过scp命令拷贝到其他机器中，同时配置好环境变量

6、启动spark

1. #启动hadoop集群
   
2. /usr/app/hadoop/sbin/start-all.sh
   
3. #启动spark
   
4. /usr/app/spark/sbin/start-all.sh
   

复制代码

7、验证，通过jps命令

master：s0

worker：s1~s3

备注：hadoop集群的SecondaryNameNode是配置到了s3

http://s0:18080
http://s0:4040

8、测试，/usr/app/spark/bin/spark-shell

9、关闭Spark

1. #关闭hadoop集群
   
2. /usr/app/hadoop/sbin/stop-all.sh
   
3. #关闭spark
   
4. /usr/app/spark/sbin/stop-all.sh

复制代码