Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Tp1 bigdata mapreduce 171031163107

TP - Big Data Programmation Hadoop Introduction Dans ce TP nous manipulerons l ? exemple Word Count ? ou Compteur d ? occurrence de mots ? vu en cours en premier lieu sur la machine virtuelle Apache Hadoop installée par l ? étudiant puis sur la machine virtuelle Cloudera A Manipulation sur la VM Apache Hadoop I Préparation du TD Démarrer la machine virtuelle Démarrer les services de Hadoop avec les commandes start-dfs sh start-yarn sh Véri ?er le bon fonctionnement de Hadoop Utiliser l'outil jps pour lister les processus Java en cours d'exécution jps Jps NodeManager ResourceManager NameNode DataNode SecondaryNameNode C Véri ?er que l'environnement de compilation est fonctionnel Véri ?er que Java est bien installé sur votre machine java ??version ? C Exécuter la commande suivante sur la même ligne wget --no-check- certi ?cate 'https docs google com uc export download id B fI marvB ZZFYwVm aYmZ LUU' -O td bigdata enis zip La commande va télécharger une archive contenant - Le poème ayant servi d'exemple en cours - Le code d'exemple du cours classes Driver Map et Reduce - Un script permettant la mise en place simpli ?ée de l'environnement de compilation Vous pouvez la télécharger directement via le lien https goo gl jiuFnF Décompresser l'archive unzip td bigdataenis zip II Manipulation de l ? exemple Nous allons maintenant compiler le code d'exemple Java du cours compteur d ? occurrence de mots Changer le répertoire courant cd td bigdataenis Compiler le programme Hadoop le tout sur la même ligne javac - classpath usr local hadoop share hadoop common hadoop- common jar usr local hadoop share hadoop mapreduce hadoopmapreduce-client-common jar usr local hadoop share hadoop common lib commons -cli jar usr local hadoop share hadoop mapreduce hadoopmapreduce-client-core- jar WCount java La compilation a généré trois ?chiers class un pour chacune de nos classes driver map et reduce C On va désormais packager le programme d'exemple au sein d'un ?chier jar Créer l'arborescence liée au nom du package avec la commande mkdir -p enis hadoop wordcount Et déplacer par la suite les ?chiers compilés au sein de cette arborescence mv class enis hadoop wordcount Générer le jar jar -cvf enis wcount jar -C enis En préparation de l'exécution de notre programme Hadoop nous allons maintenant déplacer le texte du poème sur HDFS Exécuter la commande hadoop fs -put poeme txt et véri ?er sa présence avec la commande hadoop fs -ls En ?n exécuter notre programme Hadoop avec la commande hadoop jar enis wcount jar enis hadoop wordcount WCount poeme txt results La commande devrait prendre tout au plus quelques secondes à s'exécuter Si tout s'est passé correctement un message mapreduce Job map reduce ? devrait s'a ?cher Véri ?er la présence des ?chiers de résultats dans le répertoire results avec la commande hadoop fs -ls results un ?chier SUCCESS devrait être présent ainsi qu'un ?chier part-r- En ?n a ?cher les résultats ?naux avec la commande hadoop fs -cat results part-r- CLe mot qui ? devrait être le