scala的安装
下载安装包:我选择2.11.6版本
上传到ubuntu1中并解压,配置环境变量,增加SCALA_HOME,并在PATH里增加对应BIN
|
- 把scala拷贝到其他两台机器,并配置环境变量
|
- 验证scala安装成功
|
spark安装
下载安装包:我选择1.3.1版本
上传到ubuntu1中并解压,配置环境变量,增加SPARK_HOME,并在PATH里增加对应BIN。使用source命令使配置生效
|
- 修改配置文件:slaves,spark-env.sh
|
- 使用SCP命令拷贝到其他两台机器,并做同样的环境变量配置,source生效
|
- 启动SPARK,jps后在ubuntu1上会出现master进程,在ubuntu2、ubuntu3会出现worker进程。可以访问web界面
|
- 进入spark-shell控制台,命令执行成功后还可以通过web查看jobs状况。
|