Les étapes suivantes sont valides et correctes! ! ! ! !
1. Préparation de l'environnement de base
1) Liste des logiciels 3
serveurs Centos7 (64 bits), l'adresse est la suivante:
jdk1.8
Mysql5.7 (la version 5.7 est requise !!)
mysql-connector-java-5.1.42-bin.jar
cloudera-manager-agent- 6.3.1-1466458.el7.x86_64.rpm (https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
cloudera-manager-daemons-6.2.0-968826.el7 .x86_64.rpm (https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm (https: //archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
oracle-j2sdk1.8-1.8.0 + update181-1.x86_64.rpm (https://archive.cloudera.com /cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel (https://archive.cloudera.com/cdh6/6.3. 2 / colis /)
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 （https://archive.cloudera.com/cdh6/6.3.2/parcels/）
manifest.json （https: // archive .cloudera.com / cdh6 / 6.3.2 / colis /）
2) Adresse du serveur
192.168.56.1 (cette adresse correspond à votre propre adresse de serveur)
192.168.56.2 (cette adresse correspond à votre propre adresse de serveur)
192.168.56.3 (cette adresse correspond à votre propre adresse de serveur)
3) Modifier le nom d'hôte
vim /etc/hostname
Après avoir modifié le nom d'hôte cdh *, procédez comme suit
service network restart
4) Configurer les hôtes
vim /etc/hosts
192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3
5) Accès sans secret
ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id root@cdh1
ssh-copy-id root@cdh2
ssh-copy-id root@cdh1
6) Éteignez le pare-feu
systemctl stop firewalld
systemctl disable firewalld
7) Fermer SELINUX
setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled
8) Configurer NTP
yum -y install ntp
systemctl start ntpd
systemctl enable ntpd
在cdh1节点
vim /etc/ntp.conf
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 1.cn.pool.ntp.org nomodify notrap noquery
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 3.cn.pool.ntp.org nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum 10
systemctl start ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
server cdh1 prefer
systemctl start ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat
9) Installez JDK
mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/
Définir les variables d'environnement
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
java -version
10) Installez MySQL
Supprimer votre propre base de données
rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf
Téléchargez les dépendances et créez des utilisateurs et des groupes
yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql
Veuillez vous référer au lien suivant pour l'installation:
https://blog.csdn.net/baidu_32872293/article/details/80557668
https://www.cnblogs.com/downmoon/p/11896158.html
Configurez la base de données pour autoriser la connexion à distance
mysql -u root -p
use mysql;
update user set host=’%’ where user=’root’;
Si l'erreur est signalée, elle a peut-être été configurée, utilisez l'instruction suivante pour afficher
select host from user where user = ‘root’;
flush privileges;
Changer le pilote de caractères de la base de données
set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;
Afficher les résultats de la modification
show variables like ‘character_set_%’;
Fermez le mode de sécurité de la base de données afin que la base de données puisse être ajoutée, supprimée et modifiée
SET SQL_SAFE_UPDATES=0;
Créer une base de données et donner accès à l'utilisateur racine local
mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to ‘root’@’cdh1’ identified by ‘000000’ with grant option;
flush privileges;
Installer CDH Server (nœud maître)
Préparez-vous à l'avance:
将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下
Modification de la base de données /etc/my.cnf
[mysqld]
validate_password=off
wait_timeout=31536000
interactive_timeout=31536000
Installez cloudera rpm
yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
Initialisation
des colis nouveau répertoire de colis
mkdir -p /opt/cloudera/parcel-repo
Copiez le fichier du package d'installation dans le chemin d'installation par défaut
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
Exécutez la commande create database
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p'000000' --scm-host localhost scm scm scm
Redémarrez cloudera-scm-server
service cloudera-scm-server restart
Adresse: http: // localhost: 7180
Utilisateur: admin
Mot de passe: admin
Installez l'agent CDH (chaque nœud)
Préparez-vous à l'avance:
将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下
Installez cloudera rpm
yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
Modifier la configuration de l'agent
vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1
Agent de démarrage
systemctl start cloudera-scm-agent
Résumé des problèmes courants
1. Vérifiez l'exactitude de l'hôte et la solution à l'avertissement
Exécutez les commandes suivantes sur les trois serveurs
sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2. La base de données des paramètres de teinte de la base de données ne peut pas être connectée
Exécutez la commande sur les nœuds cdh2 et cdh3
scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64
或者参考
https://blog.csdn.net/ckg8933/article/details/83379279
3. Hive n'a pas de pilote mysql
exécution cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/
4. Oozie n'a pas de pilote mysql
exécution cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar
5. La connexion au test de la base de données Hue a échoué
https://blog.csdn.net/ckg8933/article/details/83379279
6. La connexion de test de base de données échoue
https://blog.csdn.net/levy_cui/article/details/51142843
7. Impossible de trouver la bibliothèque parcle locale
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
chmod 777 /opt/cloudera/parcel-repo/*
重启服务
8. Problème d'autorisation de dossier HDFS
chmod 777 -R nn
chmod 777 -R snn
chmod o-w -R dn
chmod o-w -R var
9. Manque de libmysqlclient.so.18 ()
下载安装此组件
https://download.csdn.net/download/lufengbo123/12195518
10. Diverses anomalies surviennent lors de l'utilisation de hbase
删除zookeeper下hbase目录，然后重启hbase即可
Si l'erreur d'initialisation du maître se produit toujours, après avoir supprimé le répertoire hbase dans zookeeper, arrêtez le cluster hbase et utilisez hdfs dfs -rmr / hbase pour
supprimer le fichier hdfs, créez un nouveau répertoire racine hbase sur le front end de hbase et redémarrez.
11. Avant de commencer
看看各个组件内部是否需要创建文件夹和数据库
12. Utilisez hbase pour signaler les erreurs de teinte
Hbase中取消以下两个选项
hue中添加以下选项
[hbase]
thrift_transport=buffered
