Répertoire d'articles
outil
Alibaba Nuage légère Application Server
mastic
Connectez-vous au serveur d'applications léger
Ouvrez Putty, entrez l'adresse IP,
entrez le nom d'utilisateur et le mot de passe (l'utilisateur par défaut est root)
Créer un nouvel utilisateur
1. Créez un utilisateur
useradd -d /home/hadoop -m hadoop
usermod -a -G root hadoop
passwd hadoop
2. Configuration de l'
utilisateur Ajouter un utilisateur au groupe sudo
visudo
Installez SSH, définissez la connexion sans mot de passe SSH
Installer ssh
sudo apt-get install openssh-server #安装SSH server
ssh localhost #登陆SSH，第一次登陆输入yes
exit #退出登录的ssh localhost
cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost
ssh-keygen -t rsa
Après avoir entré l'instruction $ ssh-keygen -t rsa, vous devez appuyer sur Entrée trois fois de suite.
Parmi celles-ci, la première entrée consiste à stocker la clé à l'emplacement par défaut pour faciliter l'entrée de commande ultérieure. La deuxième et la troisième fois consiste à déterminer la phrase de passe, ce qui n'est pas très pertinent. Une fois les deux retours chariot saisis, s'il existe une sortie similaire à celle illustrée dans la figure ci-dessous, elle réussit:
puis saisissez:
cat ./id_rsa.pub >> ./authorized_keys #加入授权
ssh localhost #此时已不需密码即可登录localhost，
Téléchargez et installez JDK
1. Installez jdk
via l'installation ppa (source)
add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
Téléchargez le package d'installation sur le site officiel
推荐使用ppa方式安装
2. Vérifiez si l'installation est réussie
java -version
3. Configurez les variables d'environnement java
sudo nano ~/.bashrc
Ajoutez le contenu suivant dans le texte
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
Faire en sorte que les variables d'environnement ajoutées prennent effet
source ~/.bashrc
Téléchargez et installez Hadoop
1. Téléchargez le
package d'installation de chaque version de Hadoop hadoop pour afficher le lien:
http://mirrors.hust.edu.cn/apache/hadoop/common/
Lien du package d'installation Hadoop3.3.0: http: //mirrors.hust. edu.cn/ apache / hadoop / common / hadoop-3.3.0 / hadoop-3.3.0.tar.gz
#在root的家目录下
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
2. Décompressez Décompressez
le package d'installation téléchargé dans le répertoire / usr / local et renommez le dossier en hadoop
sudo tar -zxf ~/Downloads/hadoop-3.3.0.tar.gz -C /usr/local #解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.3.0/ ./hadoop #将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop #修改文件权限 这一步一定要做，因为权限很重要
3. Vérifiez si hadoop est correctement installé
./hadoop/bin/hadoop version
4. Configurer les variables d'environnement hadoop
sudo nano ~/.bashrc
Ajoutez le contenu suivant dans le texte
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
Faire en sorte que les variables d'environnement ajoutées prennent effet
source ~/.bashrc
Construire un cluster pseudo-distribué hadoop
Hadoop peut s'exécuter de manière pseudo-distribuée sur un seul nœud. Le processus Hadoop s'exécute comme un processus Java distinct. Le nœud agit à la fois comme un NameNode et un DataNode. En même temps, il lit les fichiers dans HDFS.
1. Modifiez core-site.xml
sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
Ajouter du contenu:
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2. Modifiez hdfs-site.xml
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
Ajouter du contenu:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http.address</name>
<value>slave1:9870</value>
</property>
3. Configurez hadoop-env.sh
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
Ajouter du contenu
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/usr/local/hadoop
4. Formatage de NameNode
./bin/hdfs namenode -format
5. Démarrez les processus namenode et datanode
./sbin/start-dfs.sh
./sbin/start-yarn.sh
jps
L'erreur suivante s'est produite.
Solution:
Sous le chemin / hadoop / sbin:
ajoutez les paramètres suivants en haut des fichiers start-dfs.sh et stop-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
En outre, start-yarn.sh et stop-yarn.sh doivent également ajouter ce qui suit en haut:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
L'erreur suivante apparaît des
solutions
Définissez la connexion SSH sans mot de passe en root, la méthode est la même que le paramètre dans hadoop
Résultat de l'exécution
6. Afficher hadoop ①Ouvrir les
ports
Console du serveur Alibaba Cloud -> Le pare-feu n'a que trois ports 80, 443, 22 ouverts par défaut, et vous devez ouvrir manuellement les ports 9870 et 9000
②Vérifier le pare-feu
ufw status verbose
# 若未关闭，则关闭防火墙（需要监听端口，内网，全关掉不要紧）
sudo ufw disable
Entrez l'adresse IP du réseau public: 9870 dans le navigateur et passez à la page dfs
Lien de référence
Le serveur Alibaba Cloud (léger Ubuntu 16.04) construit le cluster pseudo-distribué Hadoop et réalise le calcul de la valeur pi.
Construisez le cluster pseudo-distribué Hadoop3.0.3 dans l'environnement Ubuntu 16.04
. Installation et configuration de hadoop sous Ubuntu 16.04 (environnement pseudo-distribué)
Alibaba Le serveur d'applications léger dans le cloud centos7 construit le cluster pseudo-distribué hadoop
50070 Le port de hadoop ne peut pas accéder à la page Web Résumé de la solution