导语

  

内容提要

  

    Hadoop开源且基于Java、几乎没有入门障碍，它提供了迅速占据市场的实用大数据解决方案。
    Benoy Antony、Konstantin Boudnik、Cheryl Adams、Branky Shao、Cazen Lee等所著的《Hadoop大数据解决方案》由包括已认证Hadoop开发者、Committers和峰会演讲者在内的专家团队编写，可以作为有关该框架流程和功能的自学教程。书中单独介绍了各个组件，最后用实际项目将它们联系起来并构建示例应用。本书跳过数据库开发基础知识，直奔主题，帮助有经验的开发者快速上手，并开始在真实场景中使用Hadoop。

第1章  Hadoop概述
  1.1  商业分析与大数据
    1.1.1  Hadoop的组件
    1.1.2  Hadoop分布式文件系统（HDFS）
    1.1.3  MapReduce是什么
    1.1.4  YARN是什么
  1.2  ZooKeeper是什么
  1.3  Hive是什么
  1.4  与其他系统集成
    1.4.1  Hadoop生态系统
    1.4.2  数据集成与Hadoop
  1.5  小结
第2章  存储
  2.1  Hadoop HDFS的基础知识
    2.1.1  概念
    2.1.2  架构
    2.1.3  接口
  2.2  在分布式模式下设置HDFS群集
  2.3  HDFS的高级特性
    2.3.1  快照
    2.3.2  离线查看器
    2.3.3  分层存储
    2.3.4  纠删码
  2.4  文件格式
  2.5  云存储
  2.6  小结
第3章  计算
  3.1  Hadoop MapReduce的基础
    3.1.1  概念
    3.1.2  架构
  3.2  如何启动MapReduce作业
    3.2.1  编写Map任务
    3.2.2  编写reduce任务
    3.2.3  编写MapReduce作业
    3.2.4  配置
  3.3  MapReduce的高级特性
    3.3.1  分布式缓存
    3.3.2  计数器
    3.3.3  作业历史服务器
  3.4  与Spark作业的区别
  3.5  小结
第4章  用户体验
  4.1  Apache Hive
    4.1.1  安装Hive
    4.1.2  HiveQL
    4.1.3  UDF/SerDe
    4.1.4  Hive调优
  4.2  Apache Pig
    4.2.1  安装Pig
    4.2.2  PigLatin
  4.3  UDF
  4.4  Hue
  4.5  Apache Oozie
    4.5.1  安装Oozie
    4.5.2  Oozie的工作原理
    4.5.3  工作流/协调器
    4.5.4  OozieCLI
  4.6  小结
第5章  与其他系统集成
  5.1  Apache Sqoop
  5.2  Apache Flume
  5.3  Apache Kafka
    5.3.1  工作原理
    5.3.2  Kafka Connect
    5.3.3  流处理
  5.4  Apache Storm
    5.4.1  工作原理
    5.4.2  Trident
    5.4.3  Kafka集成
  5.5  小结
第6章  Hadoop安全
  6.1  提升Hadoop群集安全性
    6.1.1  边界安全
    6.1.2  Kerberos认证
    6.1.3  Hadoop中的服务级授权
    6.1.4  用户模拟
    6.1.5  提升HTTP信道的安全性
  6.2  提升数据安全性
    6.2.1  数据分类
    6.2.2  将数据传到群集
    6.2.3  保护群集中的数据
  6.3  增强应用程序安全性
    6.3.1  YARN架构
    6.3.2  YARN中的应用提交
  6.4  小结
第7章  自由的生态圈：Hadoop与Apache Big Top
  7.1  基础概念
    7.1.1  软件栈
    7.1.2  测试栈
    7.1.3  在我的笔记本电脑上工作
  7.2  开发定制的软件栈
    7.2.1  Apache Bigtop：历史
    7.2.2  Apache Bigtop：概念和哲学思想
    7.2.3  项目结构
    7.2.4  谈谈构建系统
    7.2.5  工具链和开发环境
    7.2.6  BOM定义
  7.3  部署
    7.3.1  Bigtop Provisioner
    7.3.2  群集的无主节点Puppet部署
    7.3.3  使用Puppet进行配置管理
  7.4  集成验证
    7.4.1  iTests和验证应用程序
    7.4.2  栈集成测试开发
    7.4.3  栈的验证
    7.4.4  群集故障测试
    7.4.5  栈的冒烟测试
  7.5  将所有工作组合在一起
  7.6  小结
第8章  Hadoop软件栈的In-Memory计算
  8.1  In-Memory计算简介
  8.2  Apache Ignite：内存优先
    8.2.1  Apache Ignite的系统体系架构
    8.2.2  数据网格
    8.2.3  高可用性讨论
    8.2.4  计算网格
    8.2.5  服务网格
    8.2.6  内存管理
    8.2.7  持久化存储
  8.3  使用Ignite加速旧式Hadoop
    8.3.1  In-Memory存储的好处
    8.3.2  内存文件系统：HDFS缓存
    8.3.3  In-MemoryMapReduce
  8.4  Apache Ignite的高级用法
    8.4.1  Spark和Ignite
    8.4.2  共享状态
    8.4.3  Hadoop上的In-Memory SQL
    8.4.4  使用Ignite的SQL
    8.4.5  使用ApacheIgnite进行流处理
  8.5  小结
术语表