CentraleSupélec
OpenClassrooms
list 4 sequences
assignment Level : Introductive
chat_bubble_outline Language : French
card_giftcard 480 points
Users' reviews
-
starstarstarstarstar

Key information

credit_card Free access
verified_user Fee-based Certificate
timer 60 hours in total

About the content

Que faire lorsque la complexité de vos applications dépasse votre capacité de calcul ? La solution consiste à distribuer les calculs sur un cluster constitué de plusieurs machines, mais faut-il pour cela avoir un supercalculateur dans son garage ? Non ! Aujourd'hui, le cluster computing est à la portée de tous grâce à MapReduce, qui permet de créer facilement des applications distribuées, et au cloud, qui fournit des ressources de calculs pratiquement infinies pour un coût modique.

C'est le rôle des Data Architects de déployer des clusters de calculs permettant de réaliser des analyses complexes sur des données massives. Pour cela, nous verrons ensemble comment écrire des applications distribuées avec Hadoop MapReduce et Spark, éléments essentiels de la boîte à outil des Data Architects. À l'issue de ce cours, vous serez en mesure de lancer des calculs distribués sur des clusters contenant des dizaines de machines à l'aide d'Amazon Web Services.

Vous voulez faire du Big Data sans blabla ? Alors on y va !

Objectifs pédagogiques :

  • Dans ce cours d’introduction au Big Data et au calcul distribué, vous allez apprendre à…
  • Distribuer des calculs avec MapReduce
  • Utiliser Spark pour distribuer des calculs sous forme de graphes
  • Formaliser un problème sous forme distribuée en comprenant le concept de Resilient Distributed Dataset
  • Déployer, administrer et débugger une plateforme de calcul distribué avec Amazon Web Services

Prérequis :

  • Algorithmique
  • Estimation et optimisation de complexité en temps et espace, notation asymptotique
  • Structures de données (listes, piles, files, ensembles, tas, arbres binaires de recherche, tables de hachage)
  • Théorie des graphes (parcours, plus court chemin)
  • Conception d'algorithmes (diviser pour régner, force brute)
  • Programmation
  • Solides connaissances en programmation objet (Java, Scala, Python, Ruby, C++ ou autre)
  • Structures de données
  • Notions de parallélisation
  • Ingénierie informatique
  • Solides connaissances de l'environnement UNIX
  • Gestion de la mémoire et des transferts de données
  • Connaissances  élémentaires des réseaux

more_horiz Read more
more_horiz Read less
dns

Syllabus

Partie 1 - Au fond, c’est quoi le Big Data ?
1. Prenez vos marques dans le monde du Big Data
2. Voyagez dans l’écosystème du Big Data
3. Initiez-vous au calcul distribué
Quiz : Quiz 1

Partie 2 - Réalisez des calculs massivement parallèles avec MapReduce
1. Divisez (et distribuez) pour régner
2. Parcourez les principaux algorithmes MapReduce
3. Familiarisez-vous avec Hadoop
Activité : Recréez le cœur de Google avec Hadoop : la pondération tf-idf et le PageRank

Partie 3 - Effectuez des calculs distribués sous forme de graphes avec Spark
1. Allez au-delà de MapReduce avec Spark
2. Prenez Spark en main
3. Domptez les Resilient Distributed Datasets
4. Mettez Spark au service des Data Scientists
5. Apprenez à débugger une application Spark
 Activité : Mettez en place une application Spark

Partie 4 - Passez à l'échelle dans le cloud
1. Découvrez Amazon Web Services
2. Stockez des données sur S3
3. Déployez un cluster de calcul distribué
4. Réalisez la maintenance d'un cluster
Quiz : Quiz 4

Certificat de réussite

record_voice_over

Intructors

Régis Behmo
Expert en machine learning, développeur fullstack, grimpeur invétéré et gros, très gros amateur de nouilles chinoises.

Céline Hudelot
Professeur des Universités en Informatique à CentraleSupélec.

store

Content designer

CentraleSupélec is the result of the merger of the Ecole Centrale Paris and the Supélec. The collaboration between the two Colleges of engineering begun in 1969 with the introduction of the joint competitive entrance exam. Since 2009, the Ecole Centrale Paris and Supélec have continually strengthened their partnerships and collaborations with the aim of encompassing the whole of their activities (engineering education, research and post graduate programs) and confirmed their shared values of excellence, innovation, entrepreneurship, internationalization and leadership. Today CentraleSupélec aims to become a reference in the field of engineering and systems sciences and a leading engineering College in the area of higher education and research, ranked amongst the best institutions in the world.
assistant

Platform

OpenClassrooms (formerly Le site du Zéro or SdZ) is a website that offers courses about computer science and entrepreneurship. Online courses can be made both by site staff, professors of universities or colleges partner as by its members.

Today, courses are available in several formats: MOOC (Massive Open Online Course), web text, e-book, book and video. The company delivers certifications for certain courses, including one recognized by the state in partnership with IESA multimedia.

You are the designer of this MOOC?
What is your opinion on this resource ?
Content
0/5
Platform
0/5
Animation
0/5