Hadoop Master Spécialisé Ingénierie de Données et Développement Logiciel BIG DATA ANALYTICS Apache Hadoop Labs CL ? objectif de de ce TP ?? Hadoop MapReduce est de coder une application MapReduce en utilisant Java cette application a pour but de trouver l

Master Spécialisé Ingénierie de Données et Développement Logiciel BIG DATA ANALYTICS Apache Hadoop Labs CL ? objectif de de ce TP ?? Hadoop MapReduce est de coder une application MapReduce en utilisant Java cette application a pour but de trouver la température moyenne mensuelle la plus élevée Après le téléchargement des outils nécessaires VMware Workstation Machine viruelle VMWare Cloudera CDH Putty WinSCP nous con ?gurons les paramètres réseau de la machine virtuelle Nous démarrons notre machine virtuelle et nous récupérons son adressage ip CNous se connectons sur notre machine via SSH depuis le client putty On se loge en utilisant le login Cloudera et le mot de passe cloudera Nous con ?gurons le client WInSCP de la façon suivante a ?n de pouvoir transférer les ?chiers CTP Charger et examiner les données de l'échantillon Sample Data Sur Putty Nous transférons le ?chier BDUMapReduceand YARN tar sur notre machine via winSCP CNous téléchargeons les données de température vers HDFS CDémarrage du Projet Java Créons un répertoire contenant les trois ?chiers Java que nous allons créer et rendez-le accessible Le répertoire sera utilisé pour contenir les artefacts du programme et pour le séparer des autres éléments du système de ?chiers Classe Mapper Nous créons un nouveau ?chier Java MaxTempMapper java Classe Reducer CLe Driver Compilation et création du ?chier JAR CNous lançons notre ?chier JAR CAjoutons la fonction combiner CNous relançons l ? application en utilisant l ? utilisateur HDFS C C C C

  • 18
  • 0
  • 0
Afficher les détails des licences
Licence et utilisation
Gratuit pour un usage personnel Aucune attribution requise
Partager