Spark集群安装部署

测试积点老人 发表于 2019-1-9 15:56:53

1、安装前准备 a. 确保hadoop已安装完毕 b. 确保scala已安装完毕下载scala-2.11.8.tgzcd /usr/app
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala

#添加环境变量
vi /etc/profile
#添加内容
SCALA_HOME=/usr/app/scala
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

#验证，输入scala
$ scala

2、下载spark-2.1.0-bin-hadoop2.7.tgzcd /usr/app
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
mv spark-2.1.0-bin-hadoop2.7.tgz spark

#添加环境变量
vi /etc/profile
#添加内容
SPARK_HOME=/usr/app/spark
export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile

3、配置/usr/app/spark/conf/spark-env.sh文件JAVA_HOME=/usr/app/jdk
SPARK_MASTER_HOST=s0
HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
#默认1G
SPARK_EXECUTOR_MEMORY=512M
#默认1G
SPARK_DRIVER_MEMORY=512M
#默认8080
SPARK_MASTER_WEBUI_PORT=18080
#默认8081
SPARK_WORKER_WEBUI_PORT=18081

4、配置/usr/app/spark/conf/slaves文件s1
s2
s3

5、将scala、spark通过scp命令拷贝到其他机器中，同时配置好环境变量
6、启动spark#启动hadoop集群
/usr/app/hadoop/sbin/start-all.sh
#启动spark
/usr/app/spark/sbin/start-all.sh

7、验证，通过jps命令master：s0

worker：s1~s3

备注：hadoop集群的SecondaryNameNode是配置到了s3http://s0:18080
http://s0:4040

8、测试，/usr/app/spark/bin/spark-shell

9、关闭Spark#关闭hadoop集群
/usr/app/hadoop/sbin/stop-all.sh
#关闭spark
/usr/app/spark/sbin/stop-all.sh

页: [1]

51Testing软件测试论坛 's Archiver

Spark集群安装部署