如何从小白进化成 Apache Flink 技术专家?

随着资料量的爆发,AI走上风口,典型的大资料业务场景下资料业务最通用的做法是:选用批计算的技术处理全量资料,采用流计算的技术处理实时增量资料。在生产环境中,使用者通常采用批处理和流处理两套计算引擎来支援这两种场景。弊端就是需要写两套程式码,维护两套引擎,毫无疑问,这种架构带来了额外的负担与成本。
面对全量资料和增量资料,能否用一套统一的大资料引擎技术来处理?
Apache Flink 被业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大资料引擎,使用者只需根据业务逻辑开发一套程式码,无论是全量资料还是增量资料,亦或者实时处理,一套方案即可全部支援。为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视讯课程。
课程地址:https://zh.ververica.com/developers/flink-training-course1/
为什么要收藏 Apache Flink 系列课程?
2018年市场调查报告显示 Apache Flink 是2018年开源大资料生态中发展“最快”的引擎,相较于2017年增长了125% 。Flink 的社群生态在不断发展壮大,在中国,越来越多的互联网公司在生产环境中采用Flink解决实时计算、流计算、风控等问题,因而,学习 Flink 迫在眉睫。
此次免费公开课共分为9个课时,课程内容包含 Flink 的基础架构、应用场景、丛集部署、执行机制、程式设计正规化,为你系统地拆分讲解大资料计算开发引擎Flink。
课程目录
1.1 为什么要学习 Apache Flink?
关键词:Flink 的重要性
课程开篇由阿里巴巴高阶产品专家,实时计算产品团队负责人陈守元(巴真)开讲,从开设Apache Flink 系列课程的初衷、Apache Flink 的定义/架构/原理以及学前准备与学习方法与你分享如何高效学习 Flink 系列课程。
1.2 Flink 基本概念
关键词:Apache Flink PMC、有状态的流式处理
本节课程由 Apache Flink PMC、Ververica Software Engineer 戴资力与你探讨 Flink 作为有状态的流式处理引擎的核心概念应当如何理解,Flink 与其他大资料引擎的区别是什么?为什么要使用 Flink 以及有状态的流式处理引擎面临哪些挑战?
1.3 Flink 安装部署、环境配置及执行应用程序
关键词:开发 Flink 必经第一课
破解“知易行难”的方法是实战,第三节内容由阿里巴巴高阶开发工程师沙晟阳带你从Flink开发环境的部署、配置、执行,以及不同模式的应用场景入手,示范如何快速正确安装应用Flink,并为你提供了实际应用中可能出现的问题与相应的解决方案。
1.4 DataStream API 程式设计
关键词:社群网红、深入浅出、通俗易懂
第四节课程开始涉及实际开发,DataStream API是Flink中较为核心的内容,本节由Apache Flink Committer、加拿大约克大学博士后崔星灿现身份享,课程将带你回顾 DataStream API 的概念、设计等基础知识,用示例展示 DataStreamAPI 实用开发技巧并剖析 DataStream API 的部分源代码,方便大家快速上手。
1.5 客户端操作
关键词:客户端操作全面使用指南
第五节课程是客户端操作的全面使用指南,由阿里巴巴技术专家周凯波(宝牛)视讯演示Flink 的客户端操作,从演示环境、界面、Flink 命令列以及 Flink 的5种任务提交方式进行示范,为后续开发打好基础。
1.6 Window & Time
关键词:Window的资料流程
第六节课程主要讲述Window 相关的概念,课程由阿里巴巴高阶开发工程师邱从贤分享,从 Window的基本概念、核心元件以及如何处理乱序资料、迟到资料等讲解,并用程式码带你一起梳理整个 Window 的资料流程。
1.7 状态管理与容错机制
关键词:必听课程
第七节课程由美团点评的研发工程师孙梦瑶分享,从状态管理的基本概念,Flink 状态的型别与使用示例、容错机制与故障恢复以及企业应当如何选择状态的型别和储存方式等方面分享并给出参考建议。
1.8 Flink Table API 程式设计
关键词:SQL 效能中非常核心的部分
Table API 是 Flink 的 SQL 效能中非常核心的部分,本节内容由 Apache Flink Contributor、阿里巴巴高阶研发工程师程鹤群分享,对 TableAPI 基本概念、特性进行讲解的同时从 Table API 程式设计、WordCount 示例、Table API 操作用程式码进行示范并分享了 Table API 的社群动态。
1.9 Flink SQL 程式设计
关键词:一年成为 Committer,“Flink学习部落格第一站”
Apache Flink系列课程最后一节由Apache Flink Committer、阿里巴巴高阶开发工程师伍翀(云邪)分享 Flink SQL 程式设计的相关内容,从如何在流上执行 SQL 查询、如何使用 SQL CLI 客户端、如何使用 SQL CLI 消费Kafka资料、如何用 SQL 将结果写入Kafka和ElasticSearch,带你入门 Flink SQL 程式设计。
你能收获什么?
实现从0到1了解 Flink 建立 Flink 的系统框架体系,为大资料引擎学习打下基础。
通过实际案例,带你快速上手 Flink 这个分散式、高效能、高可用、高精确的为资料流应用而生的开源流式处理框架,带你领略计算之美。
课程内容侧重于原理解析与基础应用,通过对Flink流计算的概念、技术原理、实践操作等详细解析,从最实际的应用场景出发引导你深入了解Flink,帮助你从 Flink 小白成长为 Flink 技术专家。
从媒体的最新资讯推送,到购物狂欢的实时资料大屏,甚至城市级计算的工业大脑,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,企业对大资料处理的需求越来越高,Flink的应用也越来越广泛,相信在不久的将来,Flink将会成为各行业不同规模企业主流的大资料处理框架,并最终成为下一代大资料处理框架的标准。越早学习,越能抓住时代先机。
课程内容既包含 Flink 相关企业使用者的经验分享,又有 Flink 核心开发者的理论实践,既有广度分享亦有深度探讨,实乃大资料爱好者学习 Flink 的居家旅行必备良药!
——巴真(阿里巴巴高阶产品专家)