Centos7 온라인 설치 CDH5

기타 2020-12-24 02:14:13 독서 시간: null

다음 단계는 유효하고 정확합니다! ! ! ! !

1. 기본 환경 준비

1) 소프트웨어 목록 3
Centos7 (64 비트) 서버, 주소는 다음과 같습니다.
jdk1.8
Mysql5.7 (버전 5.7 필요 !!)
mysql-connector-java-5.1.42-bin.jar
cloudera-manager-centos7- cm5.8.5_x86_64.tar.gz (http://archive.cloudera.com/cm5/cm/5)
CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel (http : // archive .cloudera.com / cdh5 / parcels / 5.8.5 /)
CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 (http://archive.cloudera.com/cdh5/parcels/ 5.8.5 /)
manifest.json (http://archive.cloudera.com/cdh5/parcels/5.8.5/)

2) 서버 주소
192.168.56.1 (이 주소는 자신의 서버
주소에 매핑 됨)
192.168.56.2 (이 주소는 자신의 서버 주소에 매핑 됨 ) 192.168.56.3 (이 주소는 자신의 서버 주소에 매핑 됨)

3) 호스트 이름 수정

vim /etc/hostname

호스트 이름 cdh *를 수정 한 후 다음을 수행하십시오.

service network restart

4) 호스트 구성

vim /etc/hosts

192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3

5) 비밀없는 액세스

ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id  root@cdh1
ssh-copy-id  root@cdh2
ssh-copy-id  root@cdh1

6) 방화벽 끄기

systemctl stop firewalld
systemctl disable firewalld

7) SELINUX 닫기

setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled

8) NTP 구성

yum -y install ntp
systemctl start ntpd 
systemctl enable ntpd 
在cdh1节点
vim /etc/ntp.conf
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 1.cn.pool.ntp.org nomodify notrap noquery
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 3.cn.pool.ntp.org nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl start ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
server cdh1 prefer

systemctl start ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat

9) JDK 설치

mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/

환경 변수 설정

vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

java -version

10) MySQL 설치

자신의 데이터베이스 삭제

rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf

종속성 다운로드 및 사용자 및 그룹 생성

yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql

설치를 위해 다음 링크를 참조하십시오 :

https://blog.csdn.net/baidu_32872293/article/details/80557668

원격 로그인을 허용하도록 데이터베이스 설정

mysql -u root -p
use mysql;
update user set host=’%’ where user=’root’;

오류가보고 된 경우 설정되었을 수 있습니다. 다음 명령문을 사용하여 확인하십시오.

select host from user where user = ‘root’;
flush privileges;

데이터베이스 문자 드라이버 변경

set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;

수정 결과보기

show variables like ‘character_set_%’;

데이터베이스를 추가, 삭제 및 수정할 수 있도록 데이터베이스 보안 모드를 닫습니다.

SET SQL_SAFE_UPDATES=0;

데이터베이스를 만들고 로컬 루트 사용자에게 액세스 권한을 부여합니다.

mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to ‘root’@’cdh1’ identified by ‘000000’ with grant option;
flush privileges;

CDH 설치

cp /home/cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz /opt/
cd /opt/
tar xvf cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz
rm cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz

에이전트 구성 수정

vim /opt/cm-5.8.5/etc/cloudera-scm-agent/config.ini
server_host=cdh1

scp -r /opt/cm-5.8.5 root@cdh2:/opt/
scp -r /opt/cm-5.8.5 root@cdh3:/opt/

모든 노드에 대한 SCM 관리 사용자 생성

useradd --system --home=/opt/cm-5.8.5/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

cdh1 노드

cp /home/ mysql-connector-java-5.1.47-bin  /opt/cm-5.8.5/share/cmf/lib/

초기화 스크립트 구성 데이터베이스

/opt/cm-5.8.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -uroot -p000000 --scm-host cdh1 scm scm scm

scm 데이터베이스에 대한 권한 구성

mysql -u root -p
grant all on *.* to ‘scm’@’%’ identified by ‘scm’ with grant option;
flush privileges;
exit;

설치 패키지 파일을 기본 설치 경로에 복사합니다.

cp /home/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/

cdh1은 서버 측을 시작합니다.

/opt/cm-5.8.5/etc/init.d/cloudera-scm-server start

cdh [1-3] 에이전트 시작 :

/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start

시작하는 데 2 ​​~ 5 분 정도 소요됩니다.
주소 : http : // localhost : 7180
사용자 : admin
비밀번호 : admin

일반적인 문제 요약

1. 호스트의 정확성과 경고에 대한 해결책 확인

세 서버에서 다음 명령을 실행하십시오.

sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2. 데이터베이스 설정 hue 데이터베이스를 연결할 수 없습니다.

cdh2 및 cdh3 노드에서 명령을 실행합니다.

scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64

或者参考
https://blog.csdn.net/ckg8933/article/details/83379279

3. Hive에는 mysql 드라이버가 없습니다.

cdh1 실행

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/

4. Oozie에는 mysql 드라이버가 없습니다.

cdh1 실행

cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar

5. hue 데이터베이스 테스트 연결 실패

https://blog.csdn.net/ckg8933/article/details/83379279

6. 데이터베이스 테스트 연결 실패

https://blog.csdn.net/levy_cui/article/details/51142843

추천

출처blog.csdn.net/mrliqifeng/article/details/94555432
추천
행
.netcoreapi 컨테이너와 컨테이너의 MySQL을 고정 표시기-구성
com.google.firebase.database.DatabaseException는 : 롱 타입 java.lang.String의 값을 변환하는 데 실패
국내 휴대전화 왕이 미국 통신사 시장 1위를 차지했지만 국내 휴대전화 4위는 아니다.
트랜잭션 격리 수준의 네 가지
오늘 chatgpt 시도
부하 분산
【FFMpeg】源码编译
우분투 sudo를 무료로 접착
자바 8 스트림 API - 어떤 상태 중간 동작을 보증 새로운 소스 수집합니까?
CF161BDiscounts
아카이브
기타
2020-04-08(1460)
2020-04-07(1517)
2020-04-06(1499)
2020-04-05(1440)
2020-04-04(1629)
2020-04-03(1644)
2020-04-02(1572)
2020-04-01(1665)
2020-03-31(1639)
2020-03-30(1334)

코드 세계

© 2018 codetd.com