- From www.xuetangx.com
大数据平台核心技术(2016年春)
Course
zh
Chinese
This content is rated 0 out of 5
- Introductive Level
- Starts on March 17, 2016
Course details
Syllabus
- 第一讲 大数据和ODPS
- 主讲人：武永卫
- 主讲人：程永
- QUIZ
- 第二讲 分布式存储
- 大纲
- 初步认识大数据对分布式存储系统的需求
- 理解大数据对分布式存储系统的需求
- 具体说明大数据对分布式存储系统的需求
- 大规模分布式存储的挑战
- 小概率事件-Raid卡故障
- 分布式存储系统举例
- 分布式存储系统重要功能设计要点剖析
- 链式写正常流程
- 写流程的另一种常见方式：主从模式
- 链式写异常流程
- 写异常处理的另一种方法-Seal and New
- 读正常流程
- 读流程优化-BackupRead
- IO QoS
- 数据正确性：checksum
- 数据可靠性-Replication
- 数据均衡-Rebalance
- 垃圾回收-Garbage collection
- Erasure coding
- Erasure coding（3,2）写入和读取过程
- 元数据管理的高可用性和可扩展性
- 元数据管理的高可用性
- Paxos概要
- Raft
- 元数据管理的可扩展性
- 不同存储介质的特性
- 盘古混合存储
- QUIZ
- 第三讲 资源管理与任务调度
- 阿里云飞天分布式调度
- 任务调度
- 资源调度
- 容错机制
- 规模挑战
- 安全域性能隔离
- 分布式调度的发展方向
- QUIZ
- 第四讲 分布式编程模型的设计与演化
- 数据格式和抽象
- 分布式编程模型
- MapReuduce编程模型
- 关系型数据编程模型
- 分布式图计算模型
- 分布式编程未来展望
- QUIZ
- 实践1：通过两阶段提交协议完成数据上传
- 分布式事务
- 分布式一致性算法
- 两阶段提交与三阶段提交
- 实践--介绍
- HW1：通过两阶段提交协议完成数据上传
- 第五讲 离线分布式关系型计算
- 关系型计算基本原理_1
- 关系型计算基本原理_2
- 分布式环境中的连接计算和聚合计算
- 其他计算和物理优化
- QUIZ
- 第六讲 全局数据管理与调度
- 提纲
- 课程背景介绍
- 前序知识
- 分布式节点距离计算法则
- 数据分布策略
- 分布式计算调度
- 数据就近原则计算如何容错
- ODPS跨集群数据依赖
- QUIZ
- 实践2：编写MR完成Group By+Join操作
- 主讲人：谢德军
- HW2：编写MR完成Group By+Join操作
- 第七讲 流式计算的系统设计与实现
- 增量计算和流式计算
- 与批量计算的区别
- 业界典型系统技术概要分析
- 核心技术
- 消息机制
- 有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
- StreamSQL
- QUIZ
- 第八讲 内存计算
- 软硬件趋势、分布式计算简史与内存计算
- 分布式计算
- 内存计算
- 统一的计算框架
- 业界经典系统技术分析-spark&flink
- QUIZ
- 第九讲 大规模数据的分布式机器学习平台
- 主讲人：褚葳
- QUIZ
- 实践3：实现MapReduce编程运行时库
- 分布式环境下的新问题
- 工程实现范例
- 课程设计相关问题
- HW3:实现MapReduce编程运行时库
Prerequisite
None.
Instructors
- 武永卫
Platform
Founded by Tsinghua University in October 2013, XuetangX is the world’s first Chinese MOOC platform and serves as the research and application platform for the Ministry of Education (MOE) Research Center for Online Education. XuetangX has been awarded as one of the national first batch of demonstration base projects for innovation and entrepreneurship. Besides, XuetangX also works with the International Center for Engineering Education (ICEE) under the auspices of UNESCO and supports its online portion. By the end of June 2018, with a total of 25 million enrollments and more than 1,500 online courses from 13 disciplined fields, XuetangX has accumulated over 12 million registered users, covering 209 countries and regions.
This content is rated 4.5 out of 5
(no review)This content is rated 4.5 out of 5
(no review)Complete this resource to write a review