导语

  

内容提要

  

    卷积神经网络是深度学习重要的模型之一。本书是卷积神经网络领域的入门读物，假定读者不具备任何机器学习知识。书中尽可能少地使用数学知识，从机器学习的概念讲起，以卷积神经网络的最新发展结束。
    单建华著的《卷积神经网络的Python实现》首先简单介绍了机器学习的基本概念，详细讲解了线性模型、神经网络和卷积神经网络模型，然后介绍了基于梯度下降法的优化方法和梯度反向传播算法，接着介绍了训练网络前的准备工作、神经网络实战、卷积神经网络的应用及其发展。针对每个关键知识点，书中给出了基于NumPy的代码实现，以及完整的神经网络和卷积神经网络代码实现，方便读者训练网络和查阅代码。
    本书既可以作为卷积神经网络的教材，也可以供对卷积神经网络感兴趣的工程技术人员和科研人员参考。

    单建华，安徽工业大学教授、研究生导师，1998年进入中国科学技术大学就读，本硕博连读。博士毕业后从事图像处理和机器人研究。近几年研究深度学习，特别是卷积神经网络及其在汽车主动安全技术方面的应用。

第一部分  模型篇
  第1章  机器学习简介
    1.1  引言
    1.2  基本术语
    1.3  重要概念
    1.4  图像分类
    1.5  MNIST数据集简介
  第  2章  线性分类器
    2.1  线性模型
      2.1.1  线性分类器
      2.1.2  理解线性分类器
      2.1.3  代码实现
    2.2  softmax损失函数
      2.2.1  损失函数的定义
      2.2.2  概率解释
      2.2.3  代码实现
    2.3  优化
    2.4  梯度下降法
      2.4.1  梯度的解析意义
      2.4.2  梯度的几何意义
      2.4.3  梯度的物理意义
      2.4.4  梯度下降法代码实现
    2.5  牛顿法
    2.6  机器学习模型统一结构
    2.7  正则化
      2.7.1  范数正则化
      2.7.2  提前终止训练
      2.7.3  概率的进一步解释
  第3章  神经网络
    3.1  数学模型
    3.2  激活函数
    3.3  代码实现
    3.4  学习容量和正则化
    3.5  生物神经科学基础
  第4章  卷积神经网络的结构
    4.1  概述
      4.1.1  局部连接
      4.1.2  参数共享
      4.1.3  3D特征图
    4.2  卷积层
      4.2.1  卷积运算及代码实现
      4.2.2  卷积层及代码初级实现
      4.2.3  卷积层参数总结
      4.2.4  用连接的观点看卷积层
      4.2.5  使用矩阵乘法实现卷积层运算
      4.2.6  批量数据的卷积层矩阵乘法的代码实现
    4.3  池化层
      4.3.1  概述
      4.3.2  池化层代码实现
    4.4  全连接层
      4.4.1  全连接层转化成卷积层
      4.4.2  全连接层代码实现
    4.5  卷积网络的结构
      4.5.1  层的组合模式
      4.5.2  表示学习
    4.6  卷积网络的神经科学基础
第二部分  优化篇
  第5章  基于梯度下降法的最优化方法
    5.1  随机梯度下降法SGD
    5.2  基本动量法
    5.3  Nesterov动量法
    5.4  AdaGrad
    5.5  RMSProp
    5.6  Adam
    5.7  AmsGrad
    5.8  学习率退火
    5.9  参数初始化
    5.10  超参数调优
  第6章  梯度反向传播算法
    6.1  基本函数的梯度
    6.2  链式法则
    6.3  深度网络的误差反向传播算法
    6.4  矩阵化
    6.5  softmax损失函数梯度计算
    6.6  全连接层梯度反向传播
    6.7  激活层梯度反向传播
    6.8  卷积层梯度反向传播
    6.9  最大值池化层梯度反向传播
第三部分  实战篇
  第7章  训练前的准备
    7.1  中心化和规范化
      7.1.1  利用线性模型推导中心化
      7.1.2  利用属性同等重要性推导规范化
      7.1.3  中心化和规范化的几何意义
    7.2  PCA和白化
      7.2.1  从去除线性相关性推导PCA
      7.2.2  PCA代码
      7.2.3  PCA降维
      7.2.4  PCA的几何意义
      7.2.5  白化
    7.3  卷积网络在进行图像分类时如何预处理
    7.4  BN
      7.4.1  BN前向计算
      7.4.2  BN层的位置
      7.4.3  BN层的理论解释
      7.4.4  BN层在实践中的注意事项
      7.4.5  BN层的梯度反向传播
      7.4.6  BN层的地位探讨
      7.4.7  将BN层应用于卷积网络
    7.5  数据扩增
    7.6  梯度检查
    7.7  初始损失值检查
    7.8  过拟合微小数据子集
    7.9  监测学习过程
      7.9.1  损失值
      7.9.2  训练集和验证集的准确率
      7.9.3  参数更新比例
  第8章  神经网络实例
    8.1  生成数据
    8.2  数据预处理
    8.3  网络模型
    8.4  梯度检查
    8.5  参数优化
    8.6  训练网络
    8.7  过拟合小数据集
    8.8  超参数随机搜索
    8.9  评估模型
    8.10  程序组织结构
    8.11  增加BN层
    8.12  程序使用建议
  第9章  卷积神经网络实例
    9.1  程序结构设计
    9.2  激活函数
    9.3  正则化
    9.4  优化方法
    9.5  卷积网络的基本模块
    9.6  训练方法
    9.7  VGG网络结构
    9.8  MNIST数据集
    9.9  梯度检测
    9.10  MNIST数据集的训练结果
    9.11  程序使用建议
  第10章  卷积网络结构的发展
    10.1  全局平均池化层
    10.2  去掉池化层
    10.3  网络向更深更宽发展面临的困难
    10.4  ResNet向更深发展的代表网络
    10.5  GoogLeNet向更宽发展的代表网络
    10.6  轻量网络
      10.6.1  1×1深度维度卷积代码实现
      10.6.2  3×3逐特征图的卷积代码实现
      10.6.3  逆残差模块的代码实现
    10.7  注意机制网络SENet