本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:
- 虚拟服务器安装
- 基础环境安装
- zookeeper集群的搭建
- kafka集群的搭建
- hadoop/hbase集群的搭建
- spark集群的搭建
- flink集群的搭建
- elasticsearch集群的搭建
- alluxio集群的搭建
本文主要讲解利用VMware安装Cenos
的过程,并让构建的虚拟机集群通信。
安装WMware
官网下载https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html,版本Workstation 14 Pro。
安装比较简单,解压后按照提示一直下一步即可,不再赘述,自行百度。
安装Centos
linux
内核版本有很多,这里选用版本CentOS-5.5
。
VMware
安装完成后,具体安装Centos
步骤如下:
打开安装好的VMware,然后点击左上角的“文件”--->“新建虚拟机”
点击“自定义(高级)”--->"下一步":
- 选择“Workstation 14”,再点击“下一步”
- 选择“稍后安装操作系统”
- 选择“Linux”
- 设置虚拟机的名字和保存位置
- 设置处理器个数和内核个数
- 设置内存大小
- 配置网卡连接类型,这里建议选择"使用网络地址转换(NAT)"
- 配置I/O控制器类型
- 配置虚拟硬盘的类型
- 配置磁盘
- 设置磁盘空间大小
- 设置磁盘文件保存地址
- 完成新建虚拟机的配置
- 配置完后在主界面会显示您刚才配置好的虚拟机,此时我们需要将刚才下载的Centos 5.5 iso装载到这个虚拟机,点击"编辑虚拟机设置"
在虚拟机设置窗口选择"CD/DVD"--->"使用ISO映像文件"--->"浏览"--->选中下载完的Centos 5.5 ISO--->"打开"--->"确定"
点击开启虚拟机按钮,准备安装
Centos5.5
上述配置完成后,接下来的在对话框中安装提示选择"亚洲/上海"时区,配置root用户和密码,然后等待正式的安装即可。
通信
当安装好Cenos01
后(截图里面是Cenos06),其他虚拟机直接克隆即可。
关闭Cenos01
,右键管理>>克隆,一次克隆出Cenos02
,Cenos03
,Cenos04
,Cenos05
,总共五个节点。
接下来的工作是通过NAT让这五个节点间能相互通信,以便后续spark、kafka等集群的搭建。同时这些节点能和本机通信,方便后续文件的上传和下载。同时能和外网相通。
查看并分配虚拟网络
我们首先要知道VMware
三种网络模式的区别。
Bridged
(桥接模式):就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。在桥接的作用下,类似于把物理主机虚拟为一个交换机,所有桥接设置的虚拟机连接到这个交换机的一个接口上,物理主机也同样插在这个交换机当中,所以所有桥接下的网卡与网卡都是交换模式的,相互可以访问而不干扰。在桥接模式下,虚拟机ip地址需要与主机在同一个网段,如果需要联网,则网关与DNS需要与主机网卡一致。NAT
(网络地址转换模式):主机网卡直接与虚拟NAT设备相连,然后虚拟NAT设备与虚拟DHCP服务器一起连接在虚拟交换机VMnet8上,这样就实现了虚拟机联网。Host-Only
(仅主机模式):其实就是NAT模式去除了虚拟NAT设备,然后使用VMware Network Adapter VMnet1虚拟网卡连接VMnet1虚拟交换机来与虚拟机通信的,Host-Only模式将虚拟机与外网隔开,使得虚拟机成为一个独立的系统,只与主机相互通讯。
我们选择NAT模式,
通过VMWare -> 编辑 -> 虚拟网络编辑器打开如下对话框:
点击“更改配置”
点击“NAT设置”
这样我们得到本虚拟机所在网络情况。
子网ip:192.168.220.0
子网掩码:255.255.255.0
默认网关:192.168.220.2
为了区分不同的虚拟节点,设置不同的主机名和ip地址如下:
虚拟机名 | 主机名 | ip地址 | 子网掩码 | 默认网关 |
Cenos01 | bigdata1 | 192.168.220.200 | 255.255.255.0 | 192.168.220.2 |
Cenos02 | bigdata2 | 192.168.220.201 | 255.255.255.0 | 192.168.220.2 |
Cenos03 | bigdata3 | 192.168.220.202 | 255.255.255.0 | 192.168.220.2 |
Cenos04 | bigdata4 | 192.168.220.203 | 255.255.255.0 | 192.168.220.2 |
Cenos05 | bigdata5 | 192.168.220.204 | 255.255.255.0 | 192.168.220.2 |
配置网络
root
用户登录Cenos01
,输入如下命令配置 ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0 v
配置的内容如下
[root@bigdata1 oracle]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
# Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
DEVICE=eth0
#BOOTPROTO=static
HWADDR=00:0C:29:F9:4B:1F
ONBOOT=yes
BOOTPROTO=static
TYPE=Ethernet
IPADDR=192.168.220.200
NETMASK=255.255.255.0
GATEWAY=192.168.220.2
[root@bigdata1 oracle]#
配置DNS
编辑
vi /etc/resolv.conf
输入
nameserver 192.168.220.2
如果不进行DNS
配置,那么只能和真实物理机通信, ping www.baidu.com 是不通的
重启网卡,使得配置生效
执行
server network restart
关闭防火墙
如果你ping
本机真实ip地址,不通,那么需要关闭防火墙
即时生效,重启后复原
开启: service iptables start
关闭: service iptables stop
永久性生效,重启后不会复原
开启: chkconfig iptables on
关闭: chkconfig iptables off
为了永久关闭防火墙,具体执行如下命令:
service iptables stop
chkconfig iptables off
配置主机名
编辑
vi /etc/sysconfig/network
修改后内容如下:
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=bigdata1
删除Linux物理地址绑定的文件
rm -rf /etc/udev/rules.d/70-persistent-net.rules
重启
reboot
Cenos01
设置完成后重启,并依次设置其他虚拟机。
验证网络情况
ping 192.168.220.200
ping 192.168.220.201
ping 192.168.220.202
ping 192.168.220.203
ping 192.168.220.204
ping 192.168.0.100
ping www.baidu.com
其中192.168.0.100
为本机地址,可以在window
命令行窗口通过ipconfig
命令获得。
本文图文并茂地讲解了利用VMware安装Cenos的详细过程,并设置了虚拟主机间的通信机制。