51Testing软件测试论坛

标题: Spark集群安装部署 [打印本页]
作者: 测试积点老人    时间: 2019-1-9 15:56
标题: Spark集群安装部署

1、安装前准备

    a. 确保hadoop已安装完毕

    b. 确保scala已安装完毕

        下载scala-2.11.8.tgz

  1. cd /usr/app
  2. tar -zxvf scala-2.11.8.tgz
  3. mv scala-2.11.8 scala

  5. #添加环境变量
  6. vi /etc/profile
  7.   #添加内容
  8.   SCALA_HOME=/usr/app/scala
  9.   export PATH=$PATH:$SCALA_HOME/bin
  10. source /etc/profile

  12. #验证，输入scala
  13. [centos@s0 ~]$ scala
复制代码


2、下载spark-2.1.0-bin-hadoop2.7.tgz

  1. cd /usr/app
  2. tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
  3. mv spark-2.1.0-bin-hadoop2.7.tgz spark

  5. #添加环境变量
  6. vi /etc/profile
  7.   #添加内容
  8.   SPARK_HOME=/usr/app/spark
  9.   export PATH=$PATH:$SPARK_HOME/bin
  10. source /etc/profile
复制代码


3、配置/usr/app/spark/conf/spark-env.sh文件

  1. JAVA_HOME=/usr/app/jdk
  2. SPARK_MASTER_HOST=s0
  3. HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
  4. #默认1G
  5. SPARK_EXECUTOR_MEMORY=512M
  6. #默认1G
  7. SPARK_DRIVER_MEMORY=512M
  8. #默认8080
  9. SPARK_MASTER_WEBUI_PORT=18080
  10. #默认8081
  11. SPARK_WORKER_WEBUI_PORT=18081
复制代码


4、配置/usr/app/spark/conf/slaves文件

  1. s1
  2. s2
  3. s3
复制代码


5、将scala、spark通过scp命令拷贝到其他机器中，同时配置好环境变量


6、启动spark

  1. #启动hadoop集群
  2. /usr/app/hadoop/sbin/start-all.sh
  3. #启动spark
  4. /usr/app/spark/sbin/start-all.sh
复制代码

7、验证，通过jps命令

master：s0


[attach]120829[/attach]


worker：s1~s3


[attach]120830[/attach]


备注：hadoop集群的SecondaryNameNode是配置到了s3

http://s0:18080
http://s0:4040



8、测试，/usr/app/spark/bin/spark-shell


[attach]120831[/attach]



9、关闭Spark

  1. #关闭hadoop集群
  2. /usr/app/hadoop/sbin/stop-all.sh
  3. #关闭spark
  4. /usr/app/spark/sbin/stop-all.sh
复制代码






欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2