당신은 하나 개의 기사를 읽어보세요! CentOS7 빌드 하둡 + HBase를 + 사육사 클러스터

기타 2020-03-17 14:30:42 독서 시간: null

개인 블로그 탐색 페이지 (클릭 오른쪽에있는 링크를 개인 블로그를 엽니) : 다니엘은 기술 스택에 당신을 데려 갈 

첫째, 준비 기본 환경

1 (2017 년 5 월 (24)로 모두 사용 최신 안정 버전) 설치 패키지를 다운로드

-- 下载 jdk-8u131
# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

-- 下载 hadoop-2.7.3
# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3

-- 下载 hbase-1.2.5
# wget http://mirror.bit.edu.cn/apache/hbase/1.2.5

-- 下载 zookeeper-3.4.10
# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10

2, 호스트 파일을 수정 (기본 IP를 사용하여 세 개의 클러스터 호스트는 192.168.0.100,192.168.0.101,192.168.0.102입니다)

# vim /etc/hosts

--添加以下信息（master、slave1、slave2均需修改）

192.168.0.100 master
192.168.0.101 slave1
192.168.0.102 slave2

3, 설치 JDK

-- 解压jdk安装包
# mkdir /usr/java
# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/java

-- 拷贝jdk至slave1及slave2中
# scp -r /usr/java slave1:/usr
# scp -r /usr/java slave2:/usr

-- 设置jdk环境变量（master、slave1、slave2均需修改）
# vim /etc/environment
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre

# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4 세트 무료 비밀 착륙

SLAVE1

# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub
# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

slave2

# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub
# scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

석사

# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes

-- 拷贝文件至slave1及slave2
# scp ~/.ssh/authorized_keys slave1:~/.ssh
# scp ~/.ssh/authorized_keys slave2:~/.ssh

5, 방화벽을 해제하고 SELINUX (마스터, SLAVE1, slave2 필요 수정할 수)

-- 关闭防火墙
# systemctl stop firewalld.service
# systemctl disable firewalld.service

-- 关闭SELINUX
# vim /etc/selinux/config
-- 注释掉
#SELINUX=enforcing
#SELINUXTYPE=targeted
-- 添加
SELINUX=disabled

 

두, 빌드로 하둡 환경

1, 설치 패키지를 추출하고 기본 디렉토리를 생성

# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr
# cd /usr/hadoop-2.7.3
# mkdir tmp logs hdf hdf/data hdf/name

2, 구성 파일 하둡을 수정

-- 修改 slaves 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/slaves
-- 删除 localhost，添加
slave1
slave2


-- 修改 core-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml
-- 在 configuration 节点中添加以下内容
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/hadoop-2.7.3/tmp</value>
</property>


-- 修改 hdfs-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
-- 在 configuration 节点添加以下内容
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/hadoop-2.7.3/hdf/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/hadoop-2.7.3/hdf/name</value>
    <final>true</final>
</property>


-- 修改 mapred-site.xml 文件
# cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
# vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml
-- 在 configuration 节点添加以下内容
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>

-- 修改 yarn-site.xml 文件
# vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml
-- 在 configuration 节点添加以下内容
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>

(3) 슬레이브 노드 복사본 하둡

# scp -r /usr/hadoop-2.7.3 slave1:/usr
# scp -r /usr/hadoop-2.7.3 slave2:/usr

(4) 마스터와 슬레이브 구성 환경 변수 하둡

# vim /etc/profile
-- 添加如下内容
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

-- 保存后执行
# source /etc/profile

# vim ~/.bashrc
-- 添加如下内容
export HADOOP_PREFIX=/usr/hadoop-2.7.3/

-- 保存后执行
# source ~/.bashrc

5 형식의 네임 노드

# /usr/hadoop-2.7.3/sbin/hdfs namenode -format

6 하둡 시작 (마스터 노드 만 수행)

# ssh master
# /usr/hadoop-2.7.3/sbin/start-all.sh

이 시점에서 성공적으로 빌드 하둡 환경을 완료

세, 빌드로 사육사 환경

1. 압축을 풀고 마스터 설치 패키지 사육사 및 기본 디렉토리의 설립

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr
# mkdir /usr/zookeeper-3.4.10/data

2, 마스터 구성 파일을 수정

-- 复制配置文件模板
# cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg

-- 修改配置文件
# vim /usr/zookeeper-3.4.10/conf/zoo.cfg
-- 添加如下内容
dataDir=/usr/zookeeper-3.4.10/data
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

(3) 각각의 서브 노드에 카피

# scp -r /usr/zookeeper-3.4.10 slave1:/usr
# scp -r /usr/zookeeper-3.4.10 slave2:/usr

파일 대한 myid 만들기 (4)

-- master节点添加myid文件
# ssh master
# touch /usr/zookeeper-3.4.10/data/myid
# echo 1 > /usr/zookeeper-3.4.10/data/myid

-- slave1节点添加myid文件
# ssh slave1
# touch /usr/zookeeper-3.4.10/data/myid
# echo 2 > /usr/zookeeper-3.4.10/data/myid

-- slave2节点添加myid文件
# ssh slave2
# touch /usr/zookeeper-3.4.10/data/myid
# echo 3 > /usr/zookeeper-3.4.10/data/myid

5 사육사 시작 (마스터 SLAVE1, slave2 실행할 필요)

-- 启动master
# ssh master
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

-- 启动slave1
# ssh slave1
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

-- 启动slave2
# ssh slave2
# cd /usr/zookeeper-3.4.10/bin
# ./zkServer.sh start

이 단계로 빌드 환경 사육사를 완료

네, 빌드로 HBase와 환경

(1) 설치 패키지 HBase를 감압

# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr
# mkdir /usr/hbase-1.2.5-bin/logs

2 수정 환경 변수 (hbase-env.sh) HBase를 할 때 사용하기 시작

-- 打开环境变量配置文件
# vim /usr/hbase-1.2.5/conf/hbase-env.sh

-- 添加如下内容
-- 1、设置java安装路径
export JAVA_HOME=/usr/java/jdk1.8.0_131
-- 2、设置hbase的日志地址
export HBASE_LOG_DIR=${HBASE_HOME}/logs
-- 3、设置是否使用hbase管理zookeeper（因使用zookeeper管理的方式，故此参数设置为false）
export HBASE_MANAGES_ZK=false
-- 4、设置hbase的pid文件存放路径
export HBASE_PID_DIR=/var/hadoop/pids

3, regionservers 파일 서버에이 지역을 모두 추가

-- 打开regionservers配置文件
# vim /usr/hbase-1.2.5/conf/regionservers

-- 删除localhost，新增如下内容
master
slave1
slave2

참고 : HBase를 시작하거나 반복 차례로 각 행을 종료 활성화 또는 지역 서버 프로세스 모두 사용 안하기

4, 클러스터 HBase를 수정 구성 정보 (HBase를-site.xml 파일)의 구성은 HBase를의 기본 구성을 재정의합니다

-- 打开配置文件
# vim /usr/hbase-1.2.5/conf/hbase-site.xml


-- 在configuration节点下添加如下内容

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master,slave1,slave2</value>
</property>
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/zookeeper-3.4.10/data</value>
</property>
<property>
    <name>hbase.master</name>
    <value>hdfs://master:60000</value>
</property>

5, HBase를 슬레이브로 복사

# scp -r /usr/hbase-1.2.5 slave1:/usr
# scp -r /usr/hbase-1.2.5 slave2:/usr

6 HBase를 시작 (마스터 노드에서 실행될 수있는 유일한)

# ssh master
# /usr/hbase-1.2.5/bin/start-hbase.sh

이 시점 HBase를 환경에서 완전한 구축

첨부 자바 / C / C ++ / 기계 학습 / 알고리즘 및 데이터 구조 / 프런트 엔드 / 안드로이드 / 파이썬 / 프로그래머 읽기 / 하나의 책 책 Daquan의 :

(건조 개인 블로그에이 열 오른쪽 클릭) : 기술 건조한 꽃을
===== >> ① [자바 다니엘은 진보의 길에 당신을 데려] << ====
===== >> ② [+ ACM 알고리즘 데이터 구조 다니엘 진보에 도로에 걸릴] << ===
===== >> ③ [데이터베이스 다니엘 진보에 도로에 걸릴] << == ===
===== >> ④ [다니엘 웹 프런트 엔드는 고급가는 길에 당신을 데려 갈 수 있습니다] << ====
===== >> ⑤ [기계 학습 파이썬 다니엘은 당신에게 항목을 고급 도로] << ====
===== >> ⑥ [건축가 다니엘은 진보의 길에 당신을 데려] << =====
===== >> ⑦ [C ++ 다니엘은 도로에 당신을 데려 갈 고급] << ====
===== >> ⑧ [다니엘은 진보의 길에 당신을 데려 갈 IOS] << ====
=====> > ⑨ [웹 보안 다니엘은가는 길에 당신을 데려 갈 고급] << =====
===== >> ⑩ [리눅스 운영 체제와 다니엘은 진보의 길에 당신을 데려] << = ====

더 불로 과일이 없다, 당신이 젊은 친구가, 친구가 기술을 배우고 싶은 희망, 도로의 방법으로 모든 장애물을 극복, 기술에 묶어 책을 이해 한 다음 코드에 노크, 원리를 이해하고 연습을 갈 것입니다 결정 그것은 당신의 미래, 당신에게 꿈을 생활, 직장을 가져올 것이다.

weixin_41663412
게시 47 개 원래 기사 · 원의 칭찬 0 · 조회수 280
개인 편지 우려

추천

출처blog.csdn.net/weixin_41663412/article/details/104860439
추천
행
PHP 간단한 ID 번호 확인
애니메이션을 통해 데이터 구조와 알고리즘 시각화
Shell Four 프로그래밍 질문 (2020/09/07)
파이썬 확장 라이브러리 NumPy와 빠른 시작
레드햇 / 페도라 네트워크 인터페이스 및 네트워크 인터페이스 프로필 특별한 구성 도구
현재 가장 핫한 AI를 경험하도록 가르쳐주세요 - 공예 AI 도우미에서 chatGPT를 사용하세요
셀레늄 크롤러 크롤러 정보를 이용하여 22-
Java+Jsoup: 爬取二次元妹子图片并下载到本地（完整代码）
JavaWeb_ (스프링 프레임 워크)를 DI 개념 봄 IOC의 항목
8.6 day27 네트워크 프로그래밍 OSI 일곱 개 계층 프로토콜 모듈 추가 지식 시간
아카이브
기타
2020-04-08(1460)
2020-04-07(1517)
2020-04-06(1499)
2020-04-05(1440)
2020-04-04(1629)
2020-04-03(1644)
2020-04-02(1572)
2020-04-01(1665)
2020-03-31(1639)
2020-03-30(1334)

코드 세계

© 2018 codetd.com