distribué
L'ensemble de l'application peut être formé par la collaboration de processus (programmes) répartis sur différents hôtes.
Navigateur/serveur web : programme client léger.
Caractéristiques du Big Data 4V
1. Volume : de grande taille
2. Vitesse : rapide
3. Variété : plusieurs styles
4. Valeur : faible densité de valeur
Hadoop
Logiciel open source pour une informatique distribuée fiable, évolutive.
Est un framework qui permet le traitement de grands ensembles de données sur des clusters d'ordinateurs, à l'aide d'un modèle de programmation simple (MapReduce).
Évolutif d'un seul serveur à des milliers d'hôtes, chaque nœud fournit des fonctions de calcul et de stockage. plutôt que de compter sur des machines hautement disponibles
Dépend de la mise en œuvre au niveau de l'application,
Module Hadoop
1.hadoop bibliothèque de classes publique commune
2. Système de fichiers distribué Hadoop HDFS
3. Cadre de planification des tâches et de gestion des ressources Hadoop Yarn
4.Hadoop MapReduce, technologie de traitement parallèle de grands ensembles de données basée sur le système de fil
Comment fonctionne MapReduce
Installation d'Hadoop
- Jdk (il est recommandé d'utiliser JDK 1.8.11)
Prérequis : Préparer l'environnement Linux
base de données volumineuse
1 système de fichiers
Linux Exts XFS Windons HTFS hbase installez d'abord HDFS
2.Icône
hbase épaulard ruche tête d'éléphant queue d'abeille éléphant hadoop
3 écosystèmes Big Data![](https://img-blog.csdnimg.cn/03e4656117dd45b5b7754254eb49d39e.png)
Langage du moteur de recherche Elasticsearch (Java/Scala )
Hadoop 3 versions 1 Version communautaire Apache Hadoop (les fonctionnalités gratuites ne sont pas bonnes) 2 Version de distribution CDH (actuellement utilisée) 3 Version de distribution HDP (les fonctionnalités payantes sont géniales)
Base de données OLAP Big data OLTA
HDFS MapReduce YARN
Construction d'un environnement d'exploitation Hadoop autonome
1Copier la base dans hadoop01
hostnamectl set-hostname hadoop01vim /etc/systemconfig/network-scripts/ifcfg-ens33
vim /etc/hosts
/opt
cd /opt
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
mv hadoop soft/hadoop260
cd soft/hadoop260
cd etc/hadoop
pwd
vim hadoop-env.sh
1= ============================
export JAVA_HOME=/opt/soft/jdk180
:wq
1========== ===================
vim
core-site.xml
2======================== =====
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.64.210:9000</value>
</property>
<property>
<name>hadoop.tmp .rép</name>
<valeur>/opt/soft/hadoop260/tmp</value>
</property>
</configuration>
:wq
2============================
vim
hdfs-site.xml
3======= =====================
<configuration>
<propriété
> <nom>dfs.replication</nom>
<valeur>1</valeur> <
/propriété>
< /configuration>
:wq
3=============================
cp
mapred-site.xml.template mapred-site.xml
vim mapred -site.xml
4============================
<configuration>
<propriété>
<nom>mapreduce.framework.nom</name>
<value>fil</value>
</property>
</configuration>
:wq
4============================
vim fil-site.xml
5============== ==============
<configuration>
<propriété>
<nom>yarn.resourcemanager.localhost</name>
<value>localhost</value>
</property>
<property>
<name> Yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
:wq
5=============================
#Configurer
les variables d'environnement hadoop. Veuillez utiliser votre propre
vim hadoop260 /etc/profile
6== = ========================= #
Exportation
Hadoop ENV HADOOP_HOME=/opt/soft/hadoop260
exportation HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
:
wq
6============ ================
#Activez la
source de configuration ci-dessus /etc/profile
#Connectez-vous sans mot de passe
ssh-keygen -t rsa -P ''
cd /root/.ssh/
ls
ssh - copy-id -i ~/.ssh/id_rsa.pub [email protected]
oui
ok
ls
ll
ssh 192.168.64.210
exit
#Connectez-vous à distance à hadoop210 en tant que votre propre nom d'hôte/ect/hosts ou systemctl sethostname hadoop210# ssh
hadoop210
oui
, quittez
#Connectez-vous directement sans mot de passe
ssh hadoop210,
quittez
#Format NameNode
hdfs namenode
-format
lire
1 client recherche le NameNode et demande l'emplacement du fichier 2 NameNode--->fsimage(editlog)--->client (donner l'adresse) 3 client utilise l'adresse pour trouver les données dans le DataNode correspondant
Écrire
1 client recherche NameNode et demande l'adresse de stockage du fichier 2 NameNode--yarn donne une adresse--->client 3 client--->DataNode--->NameNode veut sauvegarder l'adresse du nœud 4 NameNode---> DataNode-->donne l'adresse 5 DataNode--channel-->Transmettre les données au nœud de sauvegarde 6 Une fois l'écriture du nœud de sauvegarde terminée--->Premier DataNode--->client 7 client-NameNode
2Démarrez hadoop01
start-all.sh oui oui jps #Navigateur pour afficher la construction du cluster hadoop sur une seule machine terminée 192.168.64.210:50070
3. Arrêtez le système
arrêter-tout.sh