Big Data Analysis with Scala and Spark

Big Data Analysis with Scala and Spark

МООК
en
Английский
28 h
This content is rated 0 out of 5
Source
  • From www.coursera.org
Conditions
  • Self-paced
  • Free Access
  • Fee-based Certificate
More info
  • 4 Sequences
  • Introductive Level

Their employees are learning daily with Edflex

  • Safran
  • Air France
  • TotalEnergies
  • Generali
Learn more

Course details

Syllabus

  • Week 1 - Getting Started + Spark Basics
    Get up and running with Scala on your computer. Complete an example assignment to familiarize yourself with our unique way of submitting assignments. In this week, we'll bridge the gap between data parallelism in the shared memory scenario (learned in the Para...
  • Week 2 - Reduction Operations & Distributed Key-Value Pairs
    This week, we'll look at a special kind of RDD called pair RDDs. With this specialized kind of RDD in hand, we'll cover essential operations on large data sets, such as reductions and joins.
  • Week 3 - Partitioning and Shuffling
    This week we'll look at some of the performance implications of using operations like joins. Is it possible to get the same result without having to pay for the overhead of moving data over the network? We'll answer this question by delving into how we can par...
  • Week 4 - Structured data: SQL, Dataframes, and Datasets
    With our newfound understanding of the cost of data movement in a Spark job, and some experience optimizing jobs for data locality last week, this week we'll focus on how we can more easily achieve similar optimizations. Can structured data help us? We'll look...

Prerequisite

None.

Instructors

Dr. Heather Miller
Research Scientist
EPFL

Editor

L'École polytechnique fédérale de Lausanne (EPFL) est une université de recherche située à Lausanne, en Suisse, spécialisée dans les sciences physiques et l'ingénierie.

L'École polytechnique fédérale de Lausanne est l'une des deux écoles polytechniques fédérales suisses. Elle a été fondée par le gouvernement fédéral suisse avec la mission suivante :

former des ingénieurs et des scientifiques au plus haut niveau international
être un centre national d'excellence en science et en technologie
Fournir un centre d'interaction entre la communauté scientifique et l'industrie.
L'EPFL est considérée comme l'une des universités les plus prestigieuses au monde dans le domaine de l'ingénierie et des sciences. Elle est classée 17e au classement général et 10e dans le domaine de l'ingénierie dans le QS World University Rankings 2015 ; 34e au classement général et 12e dans le domaine de l'ingénierie dans le Times Higher Education World University Rankings 2015.

Platform

Coursera - это цифровая компания, предлагающая массовые открытые онлайн-курсы, основанные учителями компьютеров Эндрю Нгом и Стэнфордским университетом Дафни Коллер, расположенные в Маунтин-Вью, штат Калифорния.

Coursera работает с ведущими университетами и организациями, чтобы сделать некоторые из своих курсов доступными в Интернете, и предлагает курсы по многим предметам, включая: физику, инженерию, гуманитарные науки, медицину, биологию, социальные науки, математику, бизнес, информатику, цифровой маркетинг, науку о данных и другие предметы.

This content is rated 4.5 out of 5
(no review)
This content is rated 4.5 out of 5
(no review)
Complete this resource to write a review