Mise en œuvre des traitements Big Data avec Spark

Développer une application s’appuyant sur Spark
Connaître les différents concepts sous-jascents et les APIs
Exécuter, tester, optimiser une application utilisant Spark
Appréhender les problématiques de machine learning avec SparkML

Durée

3 jours

Réf.

B-D-AS

Prix

1650€ HT

Niveau

Intermédiaire

PROGRAMME

Vous trouverez ci-dessous le programme détaillé de la formation « Présentation de Spark », cette formation de 3 jours vous permet de comprendre et mettre en oeuvre le développement d’une application avec Spark.
  • Spark vs MapReduce
  • « Hello world » WordCount
  • Le modèle in-memory
  • Composants : Jobs, Stages, Tasks
  • Les différentes interfaces : API Python, shell…
  • Principe des DAG
  • La création
  • Les transformations : filter, map, reduce…
  • Les actions
  • Cache et persistance
    Atelier : Effectuer des statistiques sur des données météorologiques
  • Les requêtes
  • Les formats : structurés, non structurés
  • Join, group, agrégation
  • Spark SQL
    Atelier : Effectuer des statistiques sur un volume important de textes
  • Structure d’une application
  • Exécuter une application
  • WebUI
  • Optimisations
    Atelier : Observer et optimiser l’exécution de l’analyse de texte
  • Présentation de DStream
  • Découverte de Sqoop
  • Utilisation de Kafka
    Atelier : Exploiter des données via Sqoop en temps réel
  • Présentation de ML et MLlib
  • Composants : Estimators, Transformers,
  • Evaluators
  • Pipeline
    Atelier : Prédire la race d’un chien présent dans une image

PUBLICS & PRÉ-REQUIS

Développeurs backend et architectes SI

INFOS PRATIQUES

  • THÉORIE : 40%
  • PRATIQUE : 60%
  • LIEUX : NANTES & LYON

NOTRE FORMATEUR

Consultant, Formateur Architecte SI/Data. Architecte du SI depuis de nombreuses années impliqués dans les problématiques de traitement et valorisation de la Data, passionné d’IA.

NOS PROCHAINES SESSIONS DATA / IA

Aucun événement trouvé !

FORMONS ENSEMBLE !

N'hésitez pas à nous contacter, nous mettrons tout en oeuvre afin que vos collaborateurs
ou vous même soient parfaitement formés et prêts pour de nouveaux challenges !
JE ME LANCE