导语

  

内容提要

  

    深度神经网络是近年来受到广泛关注的研究方向，它已成为人工智能2.0的主要组成部分。焦李成、赵进、杨淑媛、刘芳著的《深度学习优化与识别》系统地论述了深度神经网络基本理论、算法及应用。全书共16章，分为两个部分；第一部分（第1章～10章）系统论述了理论及算法，包括深度前馈神经网络、深度卷积神经网络、深度堆栈神经网络、深度递归神经网络、深度生成网络、深度融合网络等；第二部分（第11～15章）论述了常用的深度学习平台，以及在高光谱图像、自然图像、SAR与极化SAR影像等领域的应用；第16章为总结与展望，给出了深度学习发展的历史图、前沿方向及最新进展。每章都附有相关阅读材料及仿真代码，以便有兴趣的读者进一步钻研探索。
    本书可为高等院校计算机科学、电子科学与技术、信息科学、控制科学与工程、人工智能等领域的研究人员提供参考，以及作为相关专业本科生及研究生教学参考书，同时可供深度学习及其应用感兴趣的研究人员和工程技术人员参考。

    焦李成，男，汉族，1959年10月生，1992年起任西安电子科技大学教授。现任智能感知与计算国际联合研究中心主任、智能感知与图像理解教育部重点实验室主任、智能感知与计算国际合作联合实验室主任、“智能信息处理科学与技术”高等学校学科创新引智基地（“111计划”）主任、教育部科技委国际合作部学部委员、中国人工智能学会副理事长、IET西安分会主席、IEEE西安分会奖励委员会主席、IEEE计算智能协会西安分会主席、IEEEGRSS西安分会主席，IEEETGRS副主编、教育部创新团队首席专家。国务院学位委员会学科评议组成员、教育部本科教学水平评估专家。1991年被批准为享受国务院政府津贴的专家，1996年首批入选国家“百千万”人才工程。当选为全国模范教师、陕西省师德标兵和曾任第八届全国人大代表。
    焦李成教授的主要研究方向为智能感知与计算、图像理解与目标识别、深度学习与类脑计算，培养的十余名博士获全国优秀博士学位论文奖、提名奖及陕西省优秀博士论文奖。研究成果获包括国家自然科学奖二等奖及省部级一等奖以上科技奖励十余项，出版学术专著十余部，五次获国家优秀科技图书奖励及全国首届三个一百优秀图书奖。所发表的论著被他人引用超过25000余篇次，H指数为65。

第1章  深度学习基础
  1.1  数学基础
    1.1.1  矩阵论
    1.1.2  概率论
    1.1.3  优化分析
    1.1.4  框架分析
  1.2  稀疏表示
    1.2.1  稀疏表示初步
    1.2.2  稀疏模型
    1.2.3  稀疏认知学习、计算与识别的范式
  1.3  机器学习与神经网络
    1.3.1  机器学习
    1.3.2  神经网络
  参考文献
第2章  深度前馈神经网络
  2.1  神经元的生物机理
    2.1.1  生物机理
    2.1.2  单隐层前馈神经网络
  2.2  多隐层前馈神经网络
  2.3  反向传播算法
  2.4  深度前馈神经网络的学习范式
  参考文献
第3章  深度卷积神经网络
  3.1  卷积神经网络的生物机理及数学刻画
    3.1.1  生物机理
    3.1.2  卷积流的数学刻画
  3.2  深度卷积神经网络
    3.2.1  典型网络模型与框架
    3.2.2  学习算法及训练策略
    3.2.3  模型的优缺点分析
  3.3  深度反卷积神经网络
    3.3.1  卷积稀疏编码
    3.3.2  深度反卷积神经网络
    3.3.3  网络模型的性能分析与应用举例
  3.4  全卷积神经网络
    3.4.1  网络模型的数学刻画
    3.4.2  网络模型的性能分析及应用举例
  参考文献
第4章  深度堆栈自编码网络
  4.1  自编码网络
    4.1.1  逐层学习策略
    4.1.2  自编码网络
    4.1.3  自编码网络的常见范式
  4.2  深度堆栈网络
  4.3  深度置信网络/深度玻尔兹曼机网络
    4.3.1  玻尔兹曼机/受限玻尔兹曼机
    4.3.2  深度玻尔兹曼机/深度置信网络
  参考文献
第5章  稀疏深度神经网络
  5.1  稀疏性的生物机理
    5.1.1  生物视觉机理
    5.1.2  稀疏性响应与数学物理描述
  5.2  稀疏深度网络模型及基本性质
    5.2.1  数据的稀疏性
    5.2.2  稀疏正则
    5.2.3  稀疏连接
    5.2.4  稀疏分类器设计
    5.2.5  深度学习中关于稀疏的技巧与策略
  5.3  网络模型的性能分析
    5.3.1  稀疏性对深度学习的影响
    5.3.2  对比实验及结果分析
  参考文献
第6章  深度融合网络
  6.1  深度SVM网络
    6.1.1  从神经网络到SVM
    6.1.2  网络模型的结构
    6.1.3  训练技巧
  6.2  深度PCA网络
  6.3  深度ADMM网络
  6.4  深度极限学习机
    6.4.1  极限学习机
    6.4.2  深度极限学习机
  6.5  深度多尺度几何网络
    6.5.1  深度脊波网络
    6.5.2  深度轮廓波网络
  6.6  深度森林
    6.6.1  多分辨特性融合
    6.6.2  级联特征深度处理
  参考文献
第7章  深度生成网络
  7.1  生成式对抗网络的基本原理
    7.1.1  网络模型的动机
    7.1.2  网络模型的数学物理描述
  7.2  深度卷积对抗生成网络
    7.2.1  网络模型的基本结构
    7.2.2  网络模型的性能分析
    7.2.3  网络模型的典型应用
  7.3  深度生成网络模型的新范式
    7.3.1  生成式对抗网络的新范式
    7.3.2  网络框架的性能分析与改进
  7.4  应用驱动下的两种新生成式对抗网络
    7.4.1  堆栈生成式对抗网络
    7.4.2  对偶学习范式下的生成式对抗网络
  7.5  变分自编码器
  参考文献
第8章  深度复卷积神经网络与深度二值神经网络
  8.1  深度复卷积神经网络
    8.1.1  网络模型构造的动机
    8.1.2  网络模型的数学物理描述
  8.2  深度二值神经网络
    8.2.1  网络基本结构
    8.2.2  网络的数学物理描述
    8.2.3  讨论
  参考文献
第9章  深度循环和递归神经网络
  9.1  深度循环神经网络
    9.1.1  循环神经网络的生物机理
    9.1.2  简单的循环神经网络
    9.1.3  深度循环神经网络的数学物理描述
  9.2  深度递归神经网络
    9.2.1  简单的递归神经网络
    9.2.2  深度递归神经网络的优势
  9.3  长短时记忆神经网络
    9.3.1  改进动机分析
    9.3.2  长短时记忆神经网络的数学分析
  9.4  典型应用
    9.4.1  深度循环神经网络的应用举例
    9.4.2  深度递归神经网络的应用举例
  参考文献
第10章  深度强化学习
  10.1  深度强化学习基础
    10.1.1  深度强化学习的基本思路
    10.1.2  发展历程
    10.1.3  应用的新方向
  10.2  深度Q网络
    10.2.1  网络基本模型与框架
    10.2.2  深度Q网络的数学分析
  10.3  应用举例—AlphaGo
    10.3.1  AlphaGo原理分析
    10.3.2  深度强化学习性能分析
  参考文献
第11章  深度学习软件仿真平台及开发环境
  11.1  Caffe平台
    11.1.1  Caffe平台开发环境
    11.1.2  AlexNet神经网络学习
    11.1.3  AlexNet神经网络应用于图像分类
  11.2  TensorFlow平台
    11.2.1  TensorFlow平台开发环境
    11.2.2  深度卷积生成式对抗网DCGAN
    11.2.3  DAN应用于样本扩充
  11.3  MXNet平台
    11.3.1  MXNet平台开发环境
    11.3.2  VGG-NET深度神经网络学习
    11.3.3  图像分类应用任务
  11.4  Torch  7平台
    11.4.1  Torch  7平台开发环境
    11.4.2  二值神经网络
    11.4.3  二值神经网络应用于图像分类
  11.5  Theano平台
    11.5.1  Theano平台开发环境
    11.5.2  递归神经网络
    11.5.3  LSTM应用于情感分类任务
  参考文献
第12章  基于深度神经网络的SAR/PolSAR影像地物分类
  12.1  数据集及研究目的
    12.1.1  数据集特性分析
    12.1.2  基本数据集
    12.1.3  研究目的
  12.2  基于深度神经网络的SAR影像地物分类
    12.2.1  基于自适应自编码和超像素的SAR图像分类
    12.2.2  基于卷积中层特征学习的SAR图像分类
  12.3  基于第一代深度神经网络的PolSAR影像地物分类
    12.3.1  基于稀疏极化DBN的极化SAR地物分类
    12.3.2  基于深度PCA网络的极化SAR影像地物分类
  12.4  基于第二代深度神经网络的PolSAR影像地物分类
    12.4.1  基于深度复卷积网络的极化PolSAR影像地物分类
    12.4.2基于生成式对抗网的极化PolSAR影像地物分类
    12.4.3基于深度残差网络的极化PolSAR影像地物分类
  参考文献
第13章  基于深度神经网络的SAR影像变化检测
  13.1  数据集特点及研究目的
    13.1.1  研究目的
    13.1.2  数据基本特性
    13.1.3  典型数据集
  13.2  基于深度学习和SIFT特征的SAR图像变化检测
    13.2.1  基本方法与实现策略
    13.2.2  对比实验结果分析
  13.3基于SAE的SAR图像变化检测
    13.3.1  基本方法与实现策略
    13.3.2  对比实验结果分析
  13.4基于CNN的SAR图像变化检测
    13.4.1基本方法与实现策略
    13.4.2对比实验结果分析
  参考文献
第14章  基于深度神经网络的高光谱图像分类与压缩
  14.1  数据集及研究目的
    14.1.1  高光谱遥感技术
    14.1.2  高光谱遥感的研究目的
    14.1.3  常用的高光谱数据集
  14.2  基于深度神经网络的高光谱影像的分类
    14.2.1  基于堆栈自编码的高光谱影像的分类
    14.2.2  基于卷积神经网络的高光谱影像的分类
  14.3基于深度神经网络的高光谱影像的压缩
    14.3.1  基于深度自编码网络的高光谱图像压缩方法
    14.3.2  实验设计及分类结果
  参考文献
第15章  基于深度神经网络的目标检测与识别
  15.1  数据特性及研究目的
    15.1.1  研究目的
    15.1.2  常用数据集
  15.2  基于快速CNN的目标检测与识别
    15.2.1  R-CNN
    15.2.2  Fast  R-CNN
    15.2.3  Faster  R-CNN
    15.2.4  对比实验结果与分析
  15.3  基于回归学习的目标检测与识别
    15.3.1  YOLO
    15.3.2  SSD
    15.3.3  对比实验结果分析
  15.4  基于学习搜索的目标检测与识别
    15.4.1  基于深度学习的主动目标定位
    15.4.2  AttentionNet
    15.4.3  对比实验结果分析
  参考文献
第16章  总结与展望
  16.1  深度学习发展历史图
    16.1.1  从机器学习、稀疏表示学习到深度学习
    16.1.2  深度学习、计算与认知的范式演进
    16.1.3  深度学习形成脉络
  16.2  深度学习的典型应用
    16.2.1  目标检测与识别
    16.2.2  超分辨
    16.2.3  自然语言处理
  16.3  深度神经网络的可塑性
    16.3.1  旋转不变性
    16.3.2  平移不变性
    16.3.3  多尺度、多分辨和多通路特性
    16.3.4  稀疏性
  16.4  基于脑启发式的深度学习前沿方向
    16.4.1  生物神经领域关于认知、识别、注意等的最新研究进展
    16.4.2  深度神经网络的进一步研究方向
    16.4.3  深度学习的可拓展性
参考文献
附录A  基于深度学习的常见任务处理介绍
附录B  代码介绍