01Hadoop基础环境、zookeeper概念以及特性

三台虚拟机无密码登录

1、关闭虚拟机的防火墙以及selinux
#防火墙
service iptables stop
chkconfig iptables off
#selinux
vim /etc/selinux/config
SELINUX=disabled
2、机器更改主机名
vim /etc/sysconfig/network
3、主机ip映射
vim /etc/hosts
然后重启虚拟机 reboot -h now
4、机器创建公钥和私钥
ssh-keygren -t rsa
5、将公钥拷贝到第一台虚拟机
ssh-copy-id node01.hadoop.com
6、将第一台机器的认证复制到其他机器
scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh

同步时钟

#同步时钟有两种方式,第一种公网,第二种内网
#公网
设置定时任务
contrab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

安装JDK

1、删除原有java
rpm -qa | grep java
rpm -e xxx  --nodeps
2、上传jdk并解压
3、配置环境变量 ,需要将/etc/profile备份
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH
修改完成之后记得  source /etc/profile生效

zoopkeeper

概念

分布式协调服务框架,主要用来解决系统一致性问题
本质:分不知小文件存储系统

主要作用

统一命名
统一配置

架构

主从:主节点分配任务(一般主节点一个或者两个,也有可能多个),从节点负责执行主节点分配的任务。
主备:解决主节点单一故障问题
一般主从和主备混合使用

主节点:
作用是维护数据一致性,负责处理用户的读写操作,维护数据一致性主要分配给从节点操作
从节点:
作用负责用户的读操作,并执行住节点的数据一致性操作。
在这里插入图片描述

角色

leader
zookeeper的核心
事务请求的唯一调度和处理人
create、delete、update请求都需要转发给leader处理
follower
处理非事务请求(读)
转发给leader
参与集群选举投票leader
observer
访问量大的zookeeper可以设定
只负责读
不参与投票

特性

全局数据一致性:每台服务器的数据都是一样的
可靠性:消息被一台服务器接收,所有服务器都接收
顺序性:先执行a,在执行b
原子性:事务
实时性:执行一个操作的时候,一台服务器断网,等其连接后,该操作继续执行

猜你喜欢

转载自www.cnblogs.com/hatcher-h/p/12920187.html