1/ Introduction et aperçu rapide de Hadoop et Spark :

Cette section contient toutes les informations générales sur Hadoop et Spark

2/ Utilisation du système de fichiers distribués Hadoop (HDFS)

Informations de base sur HDFS et montrer comment utiliser les commandes de base sur un cluster réel ou Cloudera Virtual Machine.

3/ Exécution et monitoring des applications Hadoop

Montrer comment exécuter des exemples d’applications et de tests Hadoop

Interface graphique Web YARN sera présentée pour une application en cours d’exécution

4/ Utiliser Apache Pig (ETL)

Présentation d’un exemple simple d’Apache Pig.

Démarrage de Pig localement, sur un cluster et avec Tez, l’accélération sera démontrée.

5/ Utiliser Apache Hive (Data Lake)

Présentation d’un exemple interactif simple Hive-SQL en utilisant des exemples de

données.

L’exécution du même exemple à partir d’un script sera également présentée.

6/ Exécution d’Apache Spark (PySpark)

L’exemple interactif de décompte de mots PySpark sera expliqué pour illustrer les fonctions RDD, cartographie DAG, réduction, filtrage et lambda.

Un programme d’estimateur de pi autonome sera démontré.

7/ Exécution d’Apache Sqoop (Migration Data warehouse vers Data Lake)

Un exemple complet de transfert de données de MySQL vers Hadoop / HDFS et de retour vers MySQL sera présenté

Diverses options Sqoop seront démontrées

8/ Utiliser Apache Flume (Streaming)

Un exemple Flume montrera comment déplacer des données de journal Web vers Hadoop / HDFS.

En Bonus:

Exemple d’application d’analyse utilisant Apache Zeppelin (Dataviz) :

– Les principales caractéristiques du Web Zeppelin seront présentées

– Une simple Application bancaire sera présentée à l’aide d’Apache Zeppelin.

– L’exemple comprend l’entrée CSV, l’utilisation de RDD / DataFrames et le traçage interactif

(*) Pour plus de formations, visitez notre portail FormatPRO