MapReduce deux façons d'exécuter des programmes sur Hadoop

Avant d' apprendre la connaissance de la période de Hadoop de temps pour apprendre la base théorique de l'opération proprement dite en même temps , il peut être plus habile, ado , il a dit à courir sur Hadoop un des compte le plus de mots simples programme

Tout d'abord je voudrais coller le code source du programme pour votre code de référence est divisé en trois parties écrites Run, la phase la carte, réduire étape

Carte:

  
  
emballer wordsCount;

importation java.io.IOException;
importation java.util.StringTokenizer;

importation org.apache.hadoop.io.IntWritable;
importation org.apache.hadoop.io.LongWritable;
importation org.apache.hadoop.io.Text;
importation org.apache.hadoop.mapreduce.Mapper;

publique classe WordsMapper étend Mapper < LongWritable , texte , texte , IntWritable > {
@Passer outre
protégé vide carte (touche LongWritable, la valeur du texte, Mapper <LongWritable, texte, texte, IntWritable> contexte .Context)
jette IOException, InterruptedException {

Ligne de chaîne = value.toString ();
StringTokenizer st = nouveau StringTokenizer (ligne);
tandis que (st.hasMoreTokens ()) {
Chaîne mot = st.nextToken ();
context.write ( nouveau texte (Word), nouveau IntWritable ( 1 ));
}

}

}
  
  

Réduire:

  
  
emballer wordsCount;

importation java.io.IOException;

importation org.apache.hadoop.io.IntWritable;
importation org.apache.hadoop.io.Text;
importation org.apache.hadoop.mapreduce.Reducer;

publique classe WordsReduce étend Réducteur < texte , IntWritable , texte , IntWritable > {

@Passer outre
protégé vide réduire (clé du texte, Iterable <IntWritable> iterator,
Réducteur <texte, IntWritable, texte, IntWritable> contexte .Context) jette IOException, InterruptedException {
// méthode de génération automatique de suggérer les moignons
int I = 0 ;
pour (i IntWritable: iterator) {
sum = sum + i.get ();
}
context.write (key, nouveau IntWritable (somme));
}
}
  
  

Courir:

  
  
emballer wordsCount;


importation org.apache.hadoop.conf.Configuration;
importation org.apache.hadoop.fs.Path;
importation org.apache.hadoop.io.IntWritable;
importation org.apache.hadoop.io.Text;
importation org.apache.hadoop.mapreduce.Job;
importation org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importation org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
importation org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
importation org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

publique classe Run {

publique statique vides principaux (String [] args) lance Exception {
// méthode de génération automatique de suggérer les moignons
Configuration Configuration = nouvelle configuration ();
Métier = nouveau Job (configuration);
job.setJarByClass (Run.class);
job.setJobName ( "mots comptent!" );

job.setOutputKeyClass (Text.class);
job.setOutputValueClass (IntWritable.class);

job.setInputFormatClass (TextInputFormat.class);
job.setOutputFormatClass (TextOutputFormat.class);

job.setMapperClass (WordsMapper.class);
job.setReducerClass (WordsReduce.class);

FileInputFormat.addInputPath (emploi, nouveau chemin ( "hdfs: //192.168.1.111: 9000 / utilisateur / entrée / wc /" ));
FileOutputFormat.setOutputPath (emploi, nouveau chemin ( "hdfs: //192.168.1.111: 9000 / utilisateur / résultat /" ));

job.waitForCompletion ( vrai );
}
}
  
  

Exécuter à l'intérieur des chemins d'entrée et de sortie en fonction de leur modification à

Ce programme ne doit l'expliquer se trouve partout

Tout d'abord exécuté sur Hadoop ce programme de deux façons

Première méthode: pour compiler leur propre logiciel et Hadoop connecté (j'utilise MyEclipse pour relier Hadoop), exécutez le programme directement. tutoriels myeclipse seront connectés Hadoop Je donnerai un lien pour votre référence à la fin de l'article.

Voir le message suivant cela signifie que vous réussissez , vous alors votre dossier de sortie qui sera en mesure de voir les résultats de l'opération

Le second fichier qui est la sortie du contenu

La deuxième méthode: le MapReduce emballé dans un fichier jar

Voici une méthode brève de la parole de l'emballage

Ensuite, l'étape suivante peut être complétée

Sur les fichiers jar emballés à votre machine d'installation Hadoop (mon cluster Hadoop est installé dans la machine virtuelle Linux) après avoir utilisé passe SSH sur le pot:

Hadoop fichier exécutable dans le répertoire bin sous votre répertoire d'installation Hadoop, puis procédez comme suit là-dessus:

En vertu de la déclaration pour expliquer ma coquille

/home/xiaohuihui/wordscount.jar: l'emplacement du fichier jar après que le paquet (propagation emplacement de la machine virtuelle)

wordsCount / Run: Le nom du lieu de votre fonction principale du paquet jar (fonction principale est ici Run.class) peut ouvrir votre lecteur de fichier jar saura

Vous pouvez également ajouter un chemin d'entrée et de sortie de fichier, mais que je l'ai mis en place après cette déclaration dans mon programme

La sortie suivante après le shell si vous exécutez l'instruction ci-dessus, félicitations à vous, le succès! !

Vous pouvez voir les résultats dans votre Eclipse connecté vue Hadoop, il peut aussi HDFS page pour afficher le système de fichiers (localhost: 50070).

Il y a aussi une étape très importante est, avant d' exécuter pour assurer votre Hadoop a commencé, vous pouvez voir si votre processus de Hadoop du cluster a été lancé par JPS

Eclipse 连接 Hadoop: http: //blog.csdn.net/xjavasunjava/article/details/12320045