从0到1搭建spark集群---企业集群搭建
今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。
一。下载Spark安装包
可以从官网下载，本集群选择的版本是spark-1.6.0-bin-hadoop2.6
在官网中找到对应的链接即可http://spark.apache.org/downloads.html
或者用本人云盘下载地址 附上链接如下链接：https://pan.baidu.com/s/1o7Vrkue 密码：sc2z
二。部署和规划Spark集群
提前准备好四台虚拟主机，三台主机 node1 node2 node4 做Spark集群 develop做Spark客户端用于提交程序
集群规划如下：
node1 Master节点 node2，node4 Worker节点 架构图如下：
在此之前需要配置Master节点到Worker的免密登陆因为在Master节点需要启动所有的Worker节点，所有需要配置Master到Worker的免密登陆 只需要这一个免密配置即可 不需要配置woker--worker worker-master节点的免密 因为主要是在Master节点上启动集群
免密设置具体参考如下：http://blog.csdn.net/leexide/article/details/17252369
1.分别在三台集群下创建同名目录 （目录一定要一致，方便集群部署）
本集群环境创建为/root/spark目录
2.使用Xshell将文件上传至其中某个节点即可（没有必要上传全部节点，因为后期还要重新配置）
上传至某个节点之后，假设上传到主节点Master节点后
3.解压目录，命令和结构如下
tar -zxf spark-1.6.0-bin-hadoop2.6.tar
然后重命名 方便后期部署
mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
结构如下：
4.配置参数
进入到配置目录，路径为
/root/spark/spark-1.6.0/conf
后可看见文件如下
我们需要把template关键字去掉 因为是个模板文件 简单介绍下文件作用：
slaves文件---worker几点所在目录
spark-default.conf目录文件 默认配置文件
spark-env.sh环境配置文件
这几个是我们主要用的
更改后的目录文件格式如下：
配置spark-env.sh
可以看到集群配置参数如下，我们主要配置这些参数
配置完后的截图如下：
解释一下参数意义：
SPARK_MASTER_IP=node1 #主节点主机名
SPARK_MASTER_PORT=7077 #主节点和Worker的通信端口
SPARK_WORKER_CORES=2 # 每个worker进程能管理两个核
SPARK_WORKER_MEMORY=2g # 每个worker进程能管理2g内存
SPARK_MASTER_WEBUI_PORT=8888 # 主节点WEB-UI展示图 默认端口是8080
SPARK_WORKER_INSTANCES=1 #每个worker节点能够启动的worker进程 默认是一个 如果为2 则每一个worker几点能够启动2个Worker进程 就这意思
根据这配置 则 Master节点能够管路4core 4g内存（有两个Worker进程 每一个worker进程管理两个核，2g内存）
配置slaves文件：配置从节点的ip 或主机名
截图如下
5.将主节点的配置分发到从节点 同名目录下
命令如下:
回到spark的主目录配置文件
然后分发到node2 node4节点 这里命令如下`pwd`即到当前目录
6、启动Spark集群：
执行安装包sbin目录下的start-all.sh脚本
./sbin/start-all.sh
7.查看集群状态
jps命令为jvm的命令与局之一 专门查看java进程
Master节点状态：
Worker节点状态：
查看WEBUI是否能访问：
注意关闭Linux的防火墙：具体操作如下
/etc/init.d/iptables status
会得到一系列信息，说明防火墙开着。
/etc/init.d/iptables stop
永久关闭:
chkconfig --level 35 iptables off
在本机访问node1:8888（别忘配置host）
至此，集群搭建成功！
8.测试集群是否可用
将主节点中的spark文件同步到客户端develop节点
在develop节点中提交spark任务 ，由于本例测试 所以直接提交spark自带测试用例 计算Pi的值
注意别忘配置Client(develop)客户端的host 因为要提交任务到Master节点（node1）节点上去运行
即可看见运行状态
在WebUI也可以看见
到此集群测试完毕!!!
持续更新中。。。。，欢迎大家关注我的公众号LHWorld.
从0到1搭建spark集群---企业集群搭建的更多相关文章
- 沉淀，再出发——在Hadoop集群的基础上搭建Spark
在Hadoop集群的基础上搭建Spark 一.环境准备 在搭建Spark环境之前必须搭建Hadoop平台,尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群,可是在新版spark ...
- 搭建Spark的单机版集群
一.创建用户 # useradd spark # passwd spark 二.下载软件 JDK,Scala,SBT,Maven 版本信息如下: JDK jdk-7u79-linux-x64.gz S ...
- 实验室中搭建Spark集群和PyCUDA开发环境
1.安装CUDA 1.1安装前工作 1.1.1选取实验器材 实验中的每台计算机均装有双系统.选择其中一台计算机作为master节点,配置有GeForce GTX 650显卡,拥有384个CUDA核心. ...
- (一) 从零开始搭建Spark Standalone集群环境搭建
本文主要讲解spark 环境的搭建 主机配置 4核8线程,主频3.4G,16G内存 虚拟环境: VMWare 虚拟环境系统:Ubuntu 14.10 虚拟机运行环境: jdk-1.7.0_79(64 ...
- spark-2.2.0安装和部署——Spark集群学习日记
前言 在安装后hadoop之后,接下来需要安装的就是Spark. scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为了方便,我直接是进入到了/usr/local文件夹下面进 ...
- 【原创 Hadoop&Spark 动手实践 5】Spark 基础入门，集群搭建以及Spark Shell
Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践. Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实 ...
- 搭建spark集群
搭建spark集群 spark1.6和hadoop2.61.准备hadoop环境:2.准备下载包:3.解压安装包:tar -xf spark-1.6.0-bin-hadoop2.6.tgz4.修改配置 ...
- 基于 ZooKeeper 搭建 Spark 高可用集群
一.集群规划 二.前置条件 三.Spark集群搭建 3.1 下载解压 3.2 配置环境变量 3.3 集群配置 3.4 安装包分发 四.启 ...
- Spark学习之路（七）—— 基于ZooKeeper搭建Spark高可用集群
一.集群规划 这里搭建一个3节点的Spark集群,其中三台主机上均部署Worker服务.同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002和hadoop00 ...
随机推荐
- OSChinaclient源代码学习（1）--Android与Server的交互
这里主要针对"综合"这个选项卡下的"资讯"模块为样例.对核心代码进行解读. 准备工作:參考我的另外一篇博客 http://blog.csdn.net/csp27 ...
- Sqoop2安装记录
我是採用的源代码编译的包安装的, 主要是考虑到会对部分功能做裁剪或增强, 详细源代码编译方式能够參考另外一篇博文<编译Sqoop2错误解决>.然后从dist/target文件夹下拷贝sqo ...
- SDUTOJ 贪心 -商人小鑫
题目描写叙述 小鑫是个商人,当然商人最希望的就是多赚钱.小鑫也一样. 这天,他来到了一个遥远的国度.那里有着n件商品,对于第i件商品须要付出ci的价钱才干得到. 当然.对于第i件商品,小鑫在自己心中有 ...
- xcode 6 改动组织及开发人员
搞个ios 开发死去活来的,各个地方说的都不一样,defaults write 不好用 在xcode6中 改动方法例如以下 改动create by __FULLUSERNAME___ 部分 Syste ...
- 你为什么还坚持.NET
C#换什么比较合适? 从TIOBE来看,Java.C++.C.Python都好,对了,还不能忘了JS. Sql Server换什么比较合适? MySql挺好,Oracle也不错,也还有不少选择. 都挺 ...
- springMVC上传错误StandardMultipartHttpServletRequest
异常信息 java.lang.ClassCastException: org.springframework.security.web.servletapi.HttpServlet3RequestFa ...
- 小强的Hadoop学习之路
本人一直在做NET开发,接触这行有6年了吧.毕业也快四年了(6年是因为大学就开始在一家小公司做门户网站,哈哈哈),之前一直秉承着学要精,就一直一门心思的在做NET(也是懒吧).最近的工作一直都和大数据 ...
- spring boot https --restful接口篇
我们写的接口默认都是http形式的,不过我们的接口很容易被人抓包,而且一抓全是明文的挺尴尬的 spring boot配置https生成证书大的方向有3种: 1.利用keytool自己生成证书 2.从免 ...
- 小白的Python之路 day4 装饰器前奏
装饰器前奏: 一.定义: 1.装饰器本质是函数,语法都是用def去定义的 (函数的目的:他需要完成特定的功能) 2.装饰器的功能:就是装饰其他函数(就是为其他函数添加附加功能) 二.原则: 1. 不能 ...
- 关于博客中引用多媒体出现的bug说明
插件说明 Aplayer.Dplayer @DIYgod 大佬在gihub的开源项目,对此,表示非常之感谢!! Aplayer 支持放在页首 支持放在页尾 但是不支持直接放在文章中引用 解决方法: 1 ...