Étapes d'installation détaillées pour Spark3

---

Préface

Cet article enregistre les étapes d'installation détaillées de spark-3.1.2. Il est recommandé de le sauvegarder et de le rouler tranquillement ~~

---

1. Préparation à l'avance

1. Les machines du cluster synchronisent l'heure entre elles
2. Connexion sans mot de passe entre les machines
3. Désactivez le pare-feu sur toutes les machines
4. Toutes les machines doivent installer JDK1.8
5. L'environnement Hadoop est le meilleur à 3.2

2. Téléchargez le package d'installation sur Linux

Nom du package d'installation : spark-3.1.2-bin-hadoop3.2.tgz

Je l'ai téléchargé dans le répertoire du logiciel

3. Décompressez le package d'installation

Commencez par CD dans le répertoire du logiciel, puis décompressez le package d'installation dans le chemin /usr/local/

    [root@cq01 softwares]# tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

Entrez /usr/local et renommez spark-3.1.2-bin-hadoop3.2.tgz en spark

    [root@cq01 softwares]# cd /usr/local/
    [root@cq01 local]# mv spark-3.1.2-bin-hadoop3.2/ spark

4. Fichier de configuration

Accédez à conf à partir du chemin d'installation et configurez-le.

    [root@cq01 local]# cd /usr/local/spark/conf/

1.spark-env.sh.template

Renommer en spark-env.sh

[root@cq01 conf]# mv spark-env.sh.template spark-env.sh

Modifier le fichier spark-env.sh

    [root@cq01 conf]# vi spark-env.sh

Ajoutez le chemin d'installation de jdk à la fin du document

2.travailleurs.modèle

Renommer en travailleurs

    [root@cq01 conf]# mv workers.template workers

Ajoutez des nœuds esclaves en fonction de vos propres nœuds (attention à ne pas écrire le nœud maître dans )

    [root@cq01 conf]# vi workers 

5. Distribuer à d'autres nœuds

Revenez d'abord au chemin local

    [root@cq01 conf]# cd /usr/local/

Distribuez le contenu configuré aux autres nœuds ( distribué en fonction du nombre de machines dans votre propre cluster )

    [root@cq01 local]# scp -r ./spark/ cq02:$PWD
    [root@cq01 local]# scp -r ./spark/ cq03:$PWD

6. Configurer les variables d'environnement globales

Après avoir configuré les variables d'environnement globales, vous pouvez utiliser le script sous bin n'importe où. Notez qu'en passant, configurez également les variables d'environnement de plusieurs autres machines.

    [root@cq01 local]# vi /etc/profile

    #spark environment
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Redémarrer les variables d'environnement

    [root@cq01 local]# source /etc/profile

7. Démarrez le cluster

Entrez le répertoire sbin sous le répertoire d'installation

    [root@cq01 spark]# cd /usr/local/spark/sbin/

démarrer

    [root@cq01 sbin]# ./start-all.sh

Si l'invite suivante apparaît, le démarrage est terminé.

8. Vérifiez le processus

Utilisez la commande jps pour afficher le processus. Ici, j'ai écrit un processus pour afficher toutes les machines du cluster.

    [root@cq01 sbin]# jps-cluster.sh 

Le processus suivant semble indiquer qu'il a été démarré avec succès

9. Accès Internet

L'interface webUI fournie par spark3.1.2 est la même que le port de Tomcat, 8080 , nous pouvons donc y accéder en entrant l'URL http://adresse IP du maître de la machine virtuelle : 8080 , puis l'interface suivante apparaîtra

10. Vérification

Entrez le répertoire bin de spark et exécutez la commande suivante

    [root@cq01 bin]# ./run-example SparkPi 5 --master local[1]

Si l'interface suivante apparaît, cela signifie que l'opération a réussi.

---

Résumer

À ce stade, l’installation de spark-3.1.2 est terminée. Si vous avez des questions, n'hésitez pas à discuter.