导语

  

内容提要

  

    本书主要介绍一种机器学习算法——提升法，主要关注其基础理论和算法，也兼顾了应用。
    全书共14章，分为4个部分。首先给出机器学习算法及其分析的概要介绍，然后第一部分重点探究了提升法的核心理论及其泛化能力。第二部分主要介绍了有助于理解和解释提升法的其他理论，包括基于博弈论的解释、贪心算法、迭代投射算法，并与信息几何学和凸优化建立了联系。第三部分主要介绍利用基于置信度的弱预测的AdaBoost算法的实用扩展，并用于解决多类别分类问题和排序问题。第四部分讨论了高级理论话题，包括AdaBoost算法、最优提升法和连续时间下的提升法之间的统计一致性。附录部分介绍了所需高级的数学概念。
    本书适合对提升法感兴趣的读者，本书每章都附有练习，因此也适用于高等院校相关课程的教学。

第1章  引言
  1.1  分类问题与机器学习
  1.2  提升法
    1.2.1  一个“玩具”例子
    1.2.2  算法的实验性能
    1.2.3  一个医学诊断的例子
  1.3  抗过拟合与间隔理论
  1.4  基础理论与算法
  1.5  小结
  1.6  参考资料
  1.7  练习
第一部分  算法核心分析
第2章  机器学习基础
  2.1  机器学习直接分析方法
    2.1.1  学习的充分条件
    2.1.2  与另外一种算法的比较
  2.2  通用分析方法
    2.2.1  一个假设
    2.2.2  有限假设空间
    2.2.3  无限假设空间
    2.2.4  更抽象的公式
    2.2.5  一致性假设
    2.2.6  基于压缩的界
    2.2.7  讨论
  2.3  提升法研究基础
    2.3.1  性能的绝对保证
    2.3.2  弱可学习与提升法
    2.3.3  分析提升法的方法
  2.4  小结
  2.5  参考资料
  2.6  练习
第3章  用AdaBoost最小化训练误差
  3.1  AdaBoost算法训练误差的界
  3.2  弱可学习的充分条件
  3.3  与切诺夫界的关系
  3.4  基学习算法的设计和使用
    3.4.1  使用样本的权重
    3.4.2  算法设计
    3.4.3  在人脸识别中的应用
  3.5  小结
  3.6  参考资料
  3.7  练习
第4章  泛化误差的直接界
  4.1  基于VC理论的泛化误差的界
    4.1.1  基本假设
    4.1.2  AdaBoost分类器的形式与复杂度
    4.1.3  有限基假设空间
    4.1.4  无限基分类器空间
  4.2  基于压缩的界
    4.2.1  主要思想
    4.2.2  混合压缩模式
    4.2.3  应用到AdaBoost
  4.3  强学习与弱学习的等价性
  4.4  小结
  4.5  参考资料
  4.6  练习
第5章  用间隔理论解释提升法的有效性
  5.1  间隔作为置信度的度量
  5.2  泛化误差的基于间隔的分析
    5.2.1  直观感受
    5.2.2  有限基假设空间
    5.2.3  无限基假设空间
  5.3  基于Rademacher复杂度的分析
  5.4  提升法对间隔分布的影响
    5.4.1  AdaBoost间隔的界
    5.4.2  更积极的间隔最大化
    5.4.3  弱可学习的充分必要条件
  5.5  偏差、方差和稳定性
  5.6  与支持向量机的关系
    5.6.1  支持向量机概览
    5.6.2  与提升法的比较
  5.7  间隔的实际应用
    5.7.1  为了获得更高的准确率拒绝低置信度的预测
    5.7.2  主动学习
  5.8  小结
  5.9  参考资料
  5.10  练习
……
第二部分  基本观点
第三部分  算法扩展
第四部分  高级理论