- 来自www.xuetangx.com
大数据平台核心技术(2016年春)
课程
zh
中文
此内容评级为 0/5
- 等级 介绍
- 从17 三月 2016开始
课程详情
教学大纲
- 第一讲 大数据和ODPS
- 主讲人:武永卫
- 主讲人:程永
- QUIZ
- 第二讲 分布式存储
- 大纲
- 初步认识大数据对分布式存储系统的需求
- 理解大数据对分布式存储系统的需求
- 具体说明大数据对分布式存储系统的需求
- 大规模分布式存储的挑战
- 小概率事件-Raid卡故障
- 分布式存储系统举例
- 分布式存储系统重要功能设计要点剖析
- 链式写正常流程
- 写流程的另一种常见方式:主从模式
- 链式写异常流程
- 写异常处理的另一种方法-Seal and New
- 读正常流程
- 读流程优化-BackupRead
- IO QoS
- 数据正确性:checksum
- 数据可靠性-Replication
- 数据均衡-Rebalance
- 垃圾回收-Garbage collection
- Erasure coding
- Erasure coding(3,2)写入和读取过程
- 元数据管理的高可用性和可扩展性
- 元数据管理的高可用性
- Paxos概要
- Raft
- 元数据管理的可扩展性
- 不同存储介质的特性
- 盘古混合存储
- QUIZ
- 第三讲 资源管理与任务调度
- 阿里云飞天分布式调度
- 任务调度
- 资源调度
- 容错机制
- 规模挑战
- 安全域性能隔离
- 分布式调度的发展方向
- QUIZ
- 第四讲 分布式编程模型的设计与演化
- 数据格式和抽象
- 分布式编程模型
- MapReuduce编程模型
- 关系型数据编程模型
- 分布式图计算模型
- 分布式编程未来展望
- QUIZ
- 实践1:通过两阶段提交协议完成数据上传
- 分布式事务
- 分布式一致性算法
- 两阶段提交与三阶段提交
- 实践--介绍
- HW1:通过两阶段提交协议完成数据上传
- 第五讲 离线分布式关系型计算
- 关系型计算基本原理_1
- 关系型计算基本原理_2
- 分布式环境中的连接计算和聚合计算
- 其他计算和物理优化
- QUIZ
- 第六讲 全局数据管理与调度
- 提纲
- 课程背景介绍
- 前序知识
- 分布式节点距离计算法则
- 数据分布策略
- 分布式计算调度
- 数据就近原则计算如何容错
- ODPS跨集群数据依赖
- QUIZ
- 实践2:编写MR完成Group By+Join操作
- 主讲人:谢德军
- HW2:编写MR完成Group By+Join操作
- 第七讲 流式计算的系统设计与实现
- 增量计算和流式计算
- 与批量计算的区别
- 业界典型系统技术概要分析
- 核心技术
- 消息机制
- 有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
- StreamSQL
- QUIZ
- 第八讲 内存计算
- 软硬件趋势、分布式计算简史与内存计算
- 分布式计算
- 内存计算
- 统一的计算框架
- 业界经典系统技术分析-spark&flink
- QUIZ
- 第九讲 大规模数据的分布式机器学习平台
- 主讲人:褚葳
- QUIZ
- 实践3:实现MapReduce编程运行时库
- 分布式环境下的新问题
- 工程实现范例
- 课程设计相关问题
- HW3:实现MapReduce编程运行时库
先决条件
没有。
讲师
- 武永卫
平台
慕华(北京)网络技术有限公司旗下的学堂在线是免费公开的MOOC(大规模开放在线课程)平台,是教育部在线教育研究中心的研究交流和成果应用平台,致力于通过来自国内外一流名校开设的免费网络学习课程,为公众提供系统的高等教育,让每一个中国人都有机会享受优质教育资源。通过和清华大学在线教育研究中心、以及国内外知名大学的紧密合作,学堂在线将不断增加课程的种类和丰富程度。
此内容评级为 4.5/5
(没有评论)此内容评级为 4.5/5
(没有评论)完成这个资源,写一篇评论