前言
网络是传递资源和信息最为方便快捷的途径
即使是在没有外网的纯局域网环境中,也要搭建起一台服务器,以方便机群中的各个节点下载资源
因此,在真正开始搭建hadoop集群之前,需要先搭建起时间同步服务器和yum源
| 环境 | 版本 |
|---|---|
| linux | centos_6.7 |
| jdk | 1.8.0_60 |
| hadoop | 2.7.1 |
| zookeeper | 3.4.7 |
| mysql | 5.6.26 |
| hive | 1.2.1-bin |
| hbase | 1.2.1 |
流程
- 关闭防火墙
| 功能 | 语句 |
|---|---|
| 停止防火墙服务 | service iptables stop |
| 禁止防火墙开机自启 | chkconfig iptables off |
注: hadoop集群往往搭建在局域网上,不会直接连接到外网.因此可以放心关闭防火墙
- 配置网络
| 功能 | 语句 |
|---|---|
| 临时修改主机名(注1) | hostname servicenode |
| 永久修改主机名 | vi /etc/sysconfig/network |
| 修改网络配置(注2) | vi /etc/sysconfig/network-scripts/ifconfig-eth0 |
| 配置本地hosts(注3) | vi /etc/hosts |
| 重启服务 | service network restart |
| 设置开机启动 | chkconfig network on |
| 测试网络状况 | ping baidu.com |
| 加载yum列表(注4) | yum list |
注1: 临时修改+永久修改,是为了在服务器不关机的情况下,修改hostname
注2: 如果是在虚拟机中搭建机群,克隆出的新虚拟机,需要额外修改/etc/udev/rules.d/70-persistent-net.rules文件并重启.
修改后的ifconfig-eth0文件具体内容如下
DEVICE=eth0
HWADDR=00:0C:29:E8:DC:26
TYPE=Ethernet
UUID=d9277dfe-73c7-4cd0-8638-7ba8c97a789b
ONBOOT=yes #系统启动时是否激活网卡
NM_CONTROLLED=yes
BOOTPROTO=static #以静态方式配置ip,防止自动分配可能导致的ip变动
GATEWAY=10.0.16.254 #网关,局域网ip会以10.0开头
IPADDR=10.0.16.98 #ip
NETMASK=255.255.255.0 #子网掩码
DNS1=8.8.8.8 #域名服务器的地址.8.8.8.8是谷歌的服务器
注3:应该提前规划好集群的架构,分配并在hosts文件中记录各个节点的ip
建议使用master1(namendoe),slaves1(datanode+nodemanager)这样见文知意的名字,方便后续管理
注4:第一次加载会比较慢,先加载一下,省的之后用的时候错以为是系统卡住了
如果是无网络环境,应该先进行第4步:配置yum源
- centos6.7,即使是mini版,也预装了openssh和openssh-service
所以配置好网络后,可以直接用远程工具连接到主机
为了方便后续操作,建议使用远程工具 - 配置yum源服务器
| 功能 | 语句 |
|---|---|
| 搜索服务名 | yum list | grep httpd |
| 安装httpd | yum -y install (搜索到的服务名) |
| 启动http(注1) | service httpd restart |
| 设置为开机启动 | chkconfig httpd on |
| 修改欢迎界面(注2) | vi /etc/httpd/conf.d/welcom/conf |
| 挂载yum源 | mount -t iso9660 -o loop /dev/cdrom /mnt/repo |
| 开机自动挂载(注3) | vi /etc/fstab |
| 禁用原始yum源 | rename .repo .repo.bak /etc/yum.repos.d/*.repo |
| 指定yum源为本地(注4) | vi /etc/yum.repos.d/local.repo |
| 链接文件(注5) | ln -s /mnt/repo /var/www/html/remp |
注1: 安装完成后,可以在浏览器输入域名,尝试访问.如果一切正常,会看到apache自动生成的说明页面
注2: 可以在注1中的说明页面中,找到文件地址.文件中有修改提示,按照提示修改即可
只有先修改文件,存放在/var/www/http/目录下的资源才能被显示出来
注3: 具体配置如下
#使用shift+g切换到文件末尾,在末尾添加如下语句
/dev/cdrom /mnt/repo iso9660 loop 0 0
#源文件位置-挂载点-源文件类型-挂载方式-设置为不用备份-设置为不用检查
注4:具体配置如下
[local] #id
name=local_repo #name
baseurl=file:///mnt/repo #资源的位置（路径）
enabled=1 #使用这个yum源
gpgcheck=1 #开启软件包验证
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 #软件包验证的key
注5: -s表示使用软链接,-d使用硬链接.硬链接限制很多,一般使用软链接
关于软链接和硬链接:linux系统下,每个文件都有自己的的唯一标识
硬连接会和源文件共用同一个标识,也就是说在检索文件的时候,系统会把他们视为同一个文件
软连接就是快捷方式,它有自己的标识
- 配置时间同步服务器
| 功能 | 语句 |
|---|---|
| 安装ntp(注1,注2) | yum -y install ntpdate.x86_64 |
| 修改配置文件(注3) | vi /etc/ntp.conf |
| 开启服务 | service ntpd restart |
| 设为开机启动 | chkconfig ntpd on |
注1: 安装服务之前,都可以通过yum list | grep (服务名)来获取到服务的全名
如果不确定服务名,可以自行使用该语句查找
注2: 客户端只需要安装ntpdate.
服务器不需要手动安装ntpdate,因为安装ntp时,ntpdate会作为环境依赖一并被安装
注3: 具体配置如下
# Hosts on local network are less restricted.
restrict 0.0.0.0 mask 255.255.255.0 nomodify notrap
# nomodify禁止修改,notrap不受限
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 127.127.1.0
# 注释掉系统自带的时间源,设置使用本地时间源(127.127.1.0)
随笔: linux的指令中,会见到list和–list两种写法,他们的使用情景是什么呢?
--后面一般跟随的是长指令,比如–help;而且一般会有对应的短指令,比如-h
加了-的语句一般用于指定命令的模式,而且可以一次指定多个.可以看作是个修饰词
比如rm -rf /*中,rm表示删除,rm -rf就表示(递归的强制的)删除
而像list这样什么都不加的,和rm一样,都属于命令执行的主体
- 开始配置集群
至此,服务器配置基本完成,接下来正式开始配置hadoop集群
系列文章
安装windows+linux双系统:https://blog.csdn.net/IAmListening/article/details/89741854
搭建hadoop高可用:https://blog.csdn.net/IAmListening/article/details/89765843
Hive的安装和相关异常:https://blog.csdn.net/IAmListening/article/details/89368823
安装hbase:https://blog.csdn.net/IAmListening/article/details/89765957