Centre de formation ACF Grenoble

87, rue Général Mangin - 38000 Grenoble
Tel : 04 76 23 20 50 / 06 81 73 19 35
contact@audit-conseil-formation.com

Demander un Devis
puce

Demande de devis

Formation
Cadre
Pôle Emploi
Nom/Prénom
Société
E-mail
Téléphone
Période
Evaluer mon niveau

Formation BIG DATA : DEVELOPPEMENT DE SOLUTIONS AVEC HADOOP®

DomaineCERTIFICATION ET FORMATION LEARNING TREE INTERNATIONAL

Programme de cours BIG DATA : DEVELOPPEMENT DE SOLUTIONS AVEC HADOOP® :

Durée de la formation : 4 (jours)
Participants : Aux développeurs, architectes et testeurs désireux de posséder une expérience pratique d'écriture de code pour Hadoop. Elle peut aussi être utile aux managers techniques intéressés par les processus de développement.
Pré-requis : Vous devez avoir une expérience de Java
Objectifs : La gestion des ensembles de données volumineux offre aux entreprises de toutes tailles de nouvelles opportunités et de nouveaux défis à relever. Au cours de cette formation, vous allez acquérir les compétences pratiques de programmation nécessaires pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce auxquelles vous pourrez traiter efficacement différents types de Big Data.
Moyens pédagogiques, techniques et d'encadrement :
  • 1 poste de travail complet par personne
  • De nombreux exercices d’application
  • Mise en place d’ateliers pratiques
  • Remise d’un support de cours
  • Passage de certification(s) dans le cadre du CPF
  • Mise en place de la Charte contrôle et qualité OPCA
  • Modalité d’évalution des acquis :
    • Evaluation des besoins et objectifs en pré et post formation
    • Evaluation technique des connaissances en  pré et post formation
    • Evaluation générale du stage
Qualification du formateur : La formation est animée par un professionnel expérimenté, dont les compétences techniques, professionnelles et pédagogiques ont été validées par des certifications et/ou testées et approuvées par les éditeurs et/ou notre équipe pédagogique. Il est en veille technologique permanente . Il est présent auprès des stagiaires pendant toute la durée de la formation.
Présentation d'Hadoop
  • Évaluer la valeur que peut apporter Hadoop à l'entreprise
  • Examiner l'écosystème d'Hadoop
  • Choisir un modèle de distribution adapté
Défier la complexité de la programmation parallèle
  • Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
  • Évaluer le mode de stockage et la complexité du Big Data
Programmation parallèle avec MapReduce
  • Fragmenter et résoudre les problèmes à grande échelle
  • Découvrir les tâches compatibles avec MapReduce
  • Résoudre des problèmes métier courants
Appliquer le paradigme Hadoop MapReduce
  • Configurer l'environnement de développement
  • Examiner la distribution Hadoop
  • Étudier les démons Hadoop
  • Créer les différents composants des tâches MapReduce
  • Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction
Créer des tâches MapReduce complexes
  • Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, coordonner les tâches avec le planificateur de workflows Oozie, rationaliser les tâches dans différents langages de programmation
Résoudre les problèmes de manipulation des données
  • Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels
Mise en œuvre des partitionneurs et des comparateurs
  • Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
  • Répartir la charge de travail avec les partitionneurs
  • Contrôler l'ordre de groupement et de tri avec les comparateurs
  • Mesurer les performances avec les compteurs
Bien-fondé des données distribuées
  • Optimiser les performances du débit des données
  • Utiliser la redondance pour récupérer les données
Interfacer avec le système de fichiers distribué Hadoop
  • Analyser la structure et l'organisation du HDFS
  • Charger des données brutes et récupérer le résultat
  • Lire et écrire des données avec un programme
  • Manipuler les types SequenceFile d'Hadoop
  • Partager des données de référence avec DistributedCache
Structurer les données avec HBase
  • Passer du stockage structuré au stockage non structuré
  • Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL
Exploiter la puissance de SQL avec Hive
  • Structurer bases de données, les tables, les vues et les partitions
  • Extraire, transformer et charger les données
  • Lancer des requêtes avec HiveQL
  • Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur
Exécuter des workflows avec Pig
  • Développer des scripts Pig Latin pour consolider les workflows, intégrer des requêtes Pig à Java
  • Interagir avec les données par le biais de la console Grunt
  • Étendre Pig avec les fonctions définies par l'utilisateur
Tester et déboguer le code Hadoop
  • Enregistrer des événements importants à auditer et à déboguer
  • Valider les spécifications avec MRUnit
  • Déboguer en mode local
Déployer, surveiller et affiner les performances
  • Déployer la solution sur un cluster de production, utiliser des outils d'administration pour optimiser les performances, surveiller l'exécution des tâches via les interfaces utilisateur web
Tarif (indicatif) en € : 2800


Pour d'autres cours, Contactez-nous