Spark实践笔记3：Spark集群搭建

发表于 | 更新于 | 评论数： | 阅读次数：

scala的安装

  1. 下载安装包：我选择2.11.6版本

  2. 上传到ubuntu1中并解压，配置环境变量，增加SCALA_HOME，并在PATH里增加对应BIN

1
2
3
4
5
6
7
8
9
10
11
12
13
14

tar xvf scala-2.11.6.tar -C /usr/local

cd /usr/local

mv scala-2.11.6 scala

vim ~/.bashrc

export SCALA_HOME=/usr/local/scala

path里增加 $ {SCALA_HOME} /bin

source ~/.bashrc
  1. 把scala拷贝到其他两台机器，并配置环境变量
1
2
3
4

scp -r scala ubuntu2:/usr/local

scp -r scala ubuntu3:/usr/local
  1. 验证scala安装成功
1
2

scala -version

spark安装

  1. 下载安装包：我选择1.3.1版本

  2. 上传到ubuntu1中并解压，配置环境变量，增加SPARK_HOME，并在PATH里增加对应BIN。使用source命令使配置生效

1
2
3
4

tar xzvf spark-1.3.1-bin-hadoop2.6.tgz -C /usr/local

mv spark-1.3.1-bin-hadoop2.6 spark
  1. 修改配置文件：slaves，spark-env.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

vim $SPARK_HOME/conf/slaves

文件内容

ubuntu2

ubuntu3

cp spark-env.sh.template spark-env.sh`

vim $SPARK_HOME/conf/spark-env.sh`

文件内容

export JAVA_HOME=/usr/lib/jvm/java

export SCALA_HOME=/usr/local/scala

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.0

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.0/etc/hadoop

export SPARK_MASTER_ID=ubuntu1

export SPARK_WORKER_MEMORY=1g
  1. 使用SCP命令拷贝到其他两台机器，并做同样的环境变量配置，source生效
1
2
3
4

scp -r /usr/local/spark ubuntu2:/usr/local

scp -r /usr/local/spark ubuntu3:/usr/local
  1. 启动SPARK，jps后在ubuntu1上会出现master进程，在ubuntu2、ubuntu3会出现worker进程。可以访问web界面
1
2
3
4

cd ${SPARK_HOME}/sbin

./start-all.s
  1. 进入spark-shell控制台，命令执行成功后还可以通过web查看jobs状况。
1
2
3
4
5
6

cd ${SPARK_HOME}/bin

spark-shell

master=spark://ubuntu1:7077 ./spark-shell