导语

  

内容提要

  

    本书以Scala作为开发Flink应用程序的编程语言，系统介绍了Flink编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Flink的设计与运行原理、Flink环境搭建和使用方法、DataStream API、DataSet API、Table API&SQL、FlinkCEP等。本书主要章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Flink编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。
    本书可以作为高等院校大数据、计算机、软件工程等专业的进阶级“大数据”课程教材，用于指导Flink编程实践，也可供相关技术人员参考。

第1章  大数据技术概述
  1.1  大数据概念与关键技术
    1.1.1  大数据概念
    1.1.2  大数据关键技术
  1.2  代表性大数据技术
    1.2.1  Hadoop
    1.2.2  Spark
    1.2.3  Flink
    1.2.4  Beam
  1.3  编程语言的选择
  1.4  在线资源
  1.5  本章小结
  1.6  习题
  实验1  Linux系统的安装和常用命令
第2章  Scala语言基础
  2.1  Scala语言概述
    2.1.1  计算机的缘起
    2.1.2  编程范式
    2.1.3  Scala简介
    2.1.4  Scala的安装
    2.1.5  HelloWorld
  2.2  Scala的基础编程知识
    2.2.1  基本数据类型和变量
    2.2.2  输入输出
    2.2.3  控制结构
    2.2.4  数据结构
  2.3  面向对象编程基础
    2.3.1  类
    2.3.2  对象
    2.3.3  继承
    2.3.4  参数化类型
    2.3.5  特质
    2.3.6  模式匹配
    2.3.7  包
  2.4  函数式编程基础
    2.4.1  函数的定义与使用
    2.4.2  高阶函数
    2.4.3  闭包
    2.4.4  偏应用函数和Curry化
    2.4.5  针对容器的操作
    2.4.6  函数式编程实例
  2.5  本章小结
  2.6  习题
  实验2  Scala编程初级实践
第3章  Flink的设计与运行原理
  3.1  Flink简介
  3.2  选择Flink的原因
    3.2.1  传统数据处理架构
    3.2.2  大数据Lambda架构
    3.2.3  流处理架构
    3.2.4  Flink是理想的流计算框架
    3.2.5  Flink的优势
  3.3  Flink典型应用场景
    3.3.1  事件驱动型应用
    3.3.2  数据分析应用
    3.3.3  数据流水线应用
  3.4  Flink的统一数据处理
  3.5  Flink技术栈
  3.6  Flink工作原理
  3.7  Flink编程模型
  3.8  Flink的应用程序结构
  3.9  Flink的数据一致性
    3.9.1  有状态计算
    3.9.2  数据一致性
    3.9.3  异步屏障快照机制
  3.10  本章小结
  3.11  习题
第4章  Flink环境搭建和使用方法
  4.1  安装Flink
    4.1.1  基础环境
    4.1.2  下载安装文件
    4.1.3  配置相关文件
    4.1.4  运行测试样例
    4.1.5  Flink和Hadoop的交互
  4.2  在Scala Shell中运行代码
  4.3  开发Flink独立应用程序
    4.3.1  安装编译打包工具Maven
    4.3.2  开发批处理程序
    4.3.3  开发流处理程序
    4.3.4  使用IntelliJ IDEA开发Flink应用程序
  4.4  设置程序运行并行度
  4.5  Flink集群环境搭建
    4.5.1  集群基础配置
    4.5.2  在集群中安装Java
    4.5.3  设置SSH无密码登录
    4.5.4  安装和配置Flink
    4.5.5  启动和关闭Flink集群
  4.6  本章小结
  4.7  习题
  实验3  Flink和Hadoop的安装
第5章  DataStream API
  5.1  DataStream编程模型
    5.1.1  数据源
    5.1.2  数据转换
    5.1.3  数据输出
  5.2  窗口的划分
  5.3  时间概念
  5.4  窗口计算
    5.4.1  窗口计算程序的结构
    5.4.2  窗口分配器
    5.4.3  窗口计算函数
    5.4.4  触发器
    5.4.5  驱逐器
  5.5  水位线
    5.5.1  水位线原理
    5.5.2  水位线的设置方法
    5.5.3  水位线应用实例
  5.6  延迟数据处理
  5.7  状态编程
  5.8  本章小结
  5.9  习题
  实验4  DataStream API编程实践
第6章  DataSet API
  6.1  DataSet编程模型
  6.2  数据源
    6.2.1  文件类数据源
    6.2.2  集合类数据源
    6.2.3  通用类数据源
    6.2.4  第三方文件系统
  6.3  数据转换
    6.3.1  数据处理类算子
    6.3.2  聚合操作类算子
    6.3.3  多表关联类算子
    6.3.4  集合操作类算子
    6.3.5  分区操作类算子
  6.4  数据输出
  6.5  迭代计算
    6.5.1  全量迭代
    6.5.2  增量迭代
  6.6  广播变量
  6.7  本章小结
  6.8  习题
  实验5  DataSet API编程实践
第7章  Table API&SQL
  7.1  编程模型
    7.1.1  程序执行原理
    7.1.2  程序结构
    7.1.3  TableEnvironment
    7.1.4  注册表
    7.1.5  查询表
    7.1.6  输出表
    7.1.7  DataStream/DataSet与Table的相互转换
    7.1.8  时间概念
  7.2  Flink Table API
    7.2.1  Table API应用实例
    7.2.2  扫描、投影和过滤
    7.2.3  列操作
    7.2.4  聚合操作
    7.2.5  连接操作
    7.2.6  集合操作
    7.2.7  排序操作
    7.2.8  插入操作
    7.2.9  基于行的操作
  7.3  Flink SQL
    7.3.1  应用实例
    7.3.2  数据查询与过滤操作
    7.3.3  聚合操作
    7.3.4  连接操作
    7.3.5  集合操作
  7.4  自定义函数
    7.4.1  标量函数
    7.4.2  表值函数
    7.4.3  聚合函数
  7.5  本章小结
  7.6  习题
  实验6  Table API&SQL编程实践
第8章  FlinkCEP
  8.1  概述
  8.2  Pattern API
    8.2.1  个体模式
    8.2.2  复合模式
    8.2.3  模式组
    8.2.4  匹配后跳过策略
  8.3  模式的检测
    8.3.1  匹配事件提取
    8.3.2  超时事件提取
  8.4  应用实例
  8.5  本章小结
  8.6  习题
  实验7  FlinkCEP编程实践
参考文献