导语

  

内容提要

  

    冯超著的《强化学习精要(核心算法与TensorFlow实现)/博文视点AI系列》用通俗幽默的语言深入浅出地介绍了强化学习的基本算法与代码实现，为读者构建了一个完整的强化学习知识体系，同时介绍了这些算法的具体实现方式。从基本的马尔可夫决策过程，到各种复杂的强化学习算法，读者都可以从本书中学习到。本书除了介绍这些算法的原理，还深入分析了算法之间的内在联系，可以帮助读者举一反三，掌握算法精髓。书中介绍的代码可以帮助读者快速将算法应用到实践中。
    《强化学习精要：核心算法与TensorFlow实现》内容翔实，语言简洁易懂，既适合零基础的人员人门学习，也适合相关科研人员研究参考。

    冯超，毕业于中国科学院大学，滴滴出行AI Labs时空数据组专家算法工程师，曾任小猿搜题算法负责人之一。自2016年起在知乎开设技术专栏《无痛的机器学习》，发表与深度学习和强化学习相关的文章，文章以轻松幽默的语言、细致深入的分析为特点，得到了广泛的关注。曾撰写深度学习进阶领域口碑技术书《深度学习轻松学：核心算法与视觉实践》。

第一部分  强化学习入门与基础知识
  1 引言
    1.1 强化学习的概念
      1.1.1 巴浦洛夫的狗
      1.1.2 俄罗斯方块
    1.2 站在被实验者的角度看问题
    1.3 强化学习效果的评估
      1.3.1 不断试错
      1.3.2 看重长期回报
    1.4 强化学习与监督学习
      1.4.1 强化学习与监督学习的本质
      1.4.2 模仿学习
    1.5 强化学习的实验环境
      1.5.1 Arcade Learning Environment
      1.5.2 Box2D
      1.5.3 MuJoCo
      1.5.4 Gym
    1.6 本书的主要内容
    1.7 参考资料
  2 数学与机器学习基础
    2.1 线性代数基础
    2.2 对称矩阵的性质
      2.2.1 特征值与特征向量
      2.2.2 对称矩阵的特征值和特征向量
      2.2.3 对称矩阵的对角化
    2.3 概率论
      2.3.1 概率与分布
      2.3.2 最大似然估计
    2.4 重要性采样
    2.5 信息论基础
    2.6 KL散度
    2.7 凸函数及其性质
    2.8 机器学习的基本概念
    2.9 机器学习的目标函数
    2.10 总结
  3 优化算法
    3.1 梯度下降法
      3.1.1 什么是梯度下降法
      3.1.2 优雅的步长
    3.2 动量算法
    3.3 共轭梯度法
      3.3.1 精妙的约束
      3.3.2 共轭
      3.3.3 优化步长的确定
      3.3.4 Gram-Schmidt方法
      3.3.5 共轭梯度
    3.4 自然梯度法
      3.4.1 基本概念
      3.4.2 Fisher信息矩阵
      3.4.3 自然梯度法目标公式
    3.5 总结
  ……
第二部分  最优价值算法
第三部分  基于策略梯度的算法
第四部分  其他强化学习算法
第五部分  反向强化学习