Flink大数据实时计算系统实践

课程简介：
本次的课程主要包括三大部分：
1.xa0xa0Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API，介绍大数据实时流计算相关生态体系，着重梳理清楚Flink上下游体系，掌握Flink的核心技术原理，建立大数据实时流计算的方法论思维。
2.xa0xa0Flink实战生产技术。从实战出发，围绕实时流计算业务场景分析、基本编程模型、高级特性等系统性介绍Flink实时流计算的实战技术，使得学员具备研发Flink实时流计算相关应用的基础能力。
3.xa0xa0Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特性与原理，以及在性能调优以及最佳实践经验。
面向人群：
1.xa0xa0希望学习大数据实时流计算和实时OLAP的学生；
2.xa0xa0希望了解大数据实时流计算和OLAP实战技术的IT从业人员；
3.xa0xa0未来希望成为大数据实时流计算的求职者；
4.xa0xa0想在大数据实时流计算方向和OLAP方面进行深入研究者。
学习收益：
通过本课程的学习，学员将会收获：
1.xa0xa0学员将系统性的了解并掌握大数据实时流计算的基本技术原理，结合Flink的生产技术案例，可基本实现独立开发、业务场景分析能力；
2.xa0xa0了解大数据实时流计算上下游生态；
3.xa0xa0理解Druid基础特性与正确使用方式，基本工作原理，并了解Druid面向的问题域以及典型的使用场景；
4.xa0xa0对有志于从事大数据实时流计算以及OLAP研发的学员，提供系统实现原理的讲解与指导。
【课程内容】
第一课：xa0xa0Flink基本概念与部署
xa0 xa01.xa0xa0Flink 简介
xa0 xa02.xa0xa0编程模型
xa0 xa03.xa0xa0运行时概念
xa0 xa04.xa0xa0应用部署与原理
xa0 xa0xa0 xa0xa0xa0a. 部署模式
xa0 xa0xa0 xa0xa0xa0b. On-Yarn 启动设置与原理
xa0 xa0xa0 xa0xa0xa0c. Job 启动设置与原理
第二课： DataStream
xa0 xa01.xa0xa0DataStreamContext环境
xa0 xa02.xa0xa0数据源(DataSource)
xa0 xa03.xa0xa0转化(Transformation)
xa0 xa04.xa0xa0数据Sink
第三课：Window & Time
xa0 xa01.xa0xa0Window介绍
xa0 xa0xa0 xa0xa0xa0a.xa0xa0为什么要有Window
xa0 xa0xa0 xa0xa0xa0b.xa0xa0Window类型
xa0 xa02.xa0xa0Window API的使用
xa0 xa0xa0 xa0xa0xa0a.xa0xa0Window的三大组件
xa0 xa0xa0 xa0xa0xa0c.xa0xa0时间语义
xa0 xa0xa0 xa0xa0xa0d.xa0xa0乱序问题解决WaterMark
xa0 xa0xa0 xa0xa0xa0e.xa0xa0AllowLateness正确设置与理解
xa0 xa0xa0 xa0xa0xa0f.xa0 xa0Sideoutput在Window中的使用
xa0 xa03.xa0xa0Window的内部实现原理
xa0 xa0xa0 xa0xa0xa0a.xa0xa0Window的处理流程
xa0 xa0xa0 xa0xa0xa0b.xa0xa0Window中的状态存储
xa0 xa04.xa0xa0生产环境中的Window使用遇到的一些问题
第四课：xa0xa0Connector
xa0 xa01.xa0xa0基本Connnector
xa0 xa02.xa0xa0自定义Source 与 Sink
xa0 xa0xa0 xa0xa0xa0a.xa0xa0Kafka简介
xa0 xa0xa0 xa0xa0xa0b.xa0xa0Kafka Consumer 与Sink 的正确使用方式
xa0 xa0xa0 xa0xa0xa0c.xa0xa0Kafka-Connector 内部机制与实现原理xa0
第五课：xa0xa0状态管理与恢复机制xa0
xa0 xa0 1.xa0xa0基本概念
xa0 xa0 2.xa0xa0KeyState 基本类型及用法
xa0 xa0 3.xa0xa0OperatorState基本用法
xa0 xa0xa0 xa0xa0 xa0a.xa0xa0概念
xa0 xa0xa0 xa0xa0 xa0b.xa0xa0开启checkpoint
xa0 xa0xa0 xa0xa0 xa0c.xa0xa0基本原理
第六课：xa0xa0Metrics 与监控xa0
xa0 xa01.xa0xa0Metrics的种类
xa0 xa02.xa0xa0Metrics的获取方式
xa0 xa03.xa0xa0用户自定义Metric指标方式
xa0 xa04.xa0xa0监控和诊断:Metric和Druid 实时OLAP联合使用
xa0 xa0xa0 xa0xa0xa0a.xa0xa0Metric上报
xa0 xa0xa0 xa0xa0xa0b.xa0xa0Metric指标聚合
xa0 xa0xa0 xa0xa0xa0c.xa0xa0Metric的分类和格式定义
xa0 xa05.xa0xa0Druid查询和指标系统
xa0 xa0xa0 xa0xa0xa0a.xa0xa0Flink作业反压监控
xa0 xa0xa0 xa0xa0xa0b.xa0xa0Flink作业的延迟监控
xa0 xa0xa0 xa0xa0xa0c.xa0xa0其他
xa0 xa06.xa0xa0Metric系统的内部实现
xa0 xa07.xa0xa0生产环境中的案例分析 -- 通过指标来排查应用问题
第七课：xa0xa0Flink应用案例介绍
xa0 xa01.xa0xa0数据清洗：map/flatmap等
xa0 xa02.xa0xa0监控告警系统
xa0 xa0xa0 xa0xa0xa0a. 数据拉平
xa0 xa0xa0 xa0xa0xa0b. 基础窗口计算等
xa0 xa03.xa0xa0线上运营系统
xa0 xa04.xa0xa0风控系统xa0 xa0xa0
第八课：Druid基本概念与架构设计xa0
xa0xa01.xa0xa0Druid与OLAP VS Kylin、ES等
xa0xa02.xa0xa0Druid与指标系统 VS 各种时序数据库
xa0xa03.xa0xa0Druid特性
xa0xa04.xa0xa0基本架构:角色节点与基本职责
xa0 xa0xa0 xa0 a.xa0xa0角色行为
xa0 xa0xa0 xa0 b.xa0xa0角色暴露的API
xa0xa05.xa0xa0基本架构:外部依赖
xa0 xa0xa0 xa0xa0xa0a.xa0xa0MySQL数据结构
xa0 xa0xa0 xa0xa0xa0b.xa0xa0ZK数据结构
xa0 xa0xa0 xa0xa0xa0c.xa0xa0HDFS数据结构
第九课： Druid数据写入与查询
xa0 xa01.xa0xa0数据流向与存储格式
xa0 xa0xa0 xa0xa0 xa0a.xa0xa0数据写入流程
xa0 xa0xa0 xa0xa0 xa0b.xa0xa0存储与索引格式
xa0 xa02.xa0xa0实时数据写入
xa0 xa0xa0 xa0xa0 xa0c.xa0xa0Index-Service原理介绍
xa0 xa0xa0 xa0xa0 xa0d.xa0xa0Tranquility原理介绍
xa0 xa0xa0 xa0xa0 xa0e.xa0xa0Kafka-index-service原理
xa0 xa03.xa0xa0离线数据写入
xa0 xa04.xa0xa0查询模式与查询类型介绍
第十课： Druid实践介绍
xa0 xa01.xa0xa0容错设计
xa0 xa02.xa0xa0指标监控
xa0 xa0xa0 xa0xa0xa0a.xa0xa0基于Graphite搭建指标监控系统
xa0 xa0xa0 xa0xa0xa0b.xa0xa0重要的指标项
xa0 xa03.xa0xa0运维实践
xa0 xa0xa0 xa0xa0xa0a.xa0xa0数据修复
xa0 xa0xa0 xa0xa0xa0b.xa0xa0集群升级实践
xa0 xa0xa0 xa0xa0xa0c.xa0xa0Segment元数据管理
xa0 xa0xa0 xa0xa0xa0d.xa0xa0JVM调优
xa0 xa0xa0 xa0xa0xa0c.xa0xa0资源隔离