导语

  

内容提要

  

    本书介绍了最优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域，基本理论涵盖最优解的存在性和唯一性、各类优化问题的一阶或二阶最优性条件、对偶理论等，优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富，理论翔实，展现了最优化的“实践—算法—理论—实践”这一特点。书中配备了适量的习题，这些习题难易兼顾、层次分明，为正文的内容提供补充，并可检验读者的学习效果。
    本书可作为高等院校数据科学专业的教材或参考书，供研究生和本科高年级学生使用，也可供从事图像和信号处理、大数据分析、人工智能等领域的科技工作者参考。

1  第一章  最优化简介
  1.1  最优化问题概括
    1.1.1  最优化问题的一般形式
    1.1.2  最优化问题的类型与应用背景
  1.2  实例：稀疏优化
  1.3  实例：深度学习
    1.3.1  多层感知机
    1.3.2  卷积神经网络
  1.4  最优化的基本概念
    1.4.1  连续和离散优化问题
    1.4.2  无约束和约束优化问题
    1.4.3  随机和确定性优化问题
    1.4.4  线性和非线性规划问题
    1.4.5  凸和非凸优化问题
    1.4.6  全局和局部最优解
    1.4.7  优化算法
  1.5  总结
  习题1
2  第二章  基础知识
  2.1  范数
    2.1.1  向量范数
    2.1.2  矩阵范数
    2.1.3  矩阵内积
  2.2  导数
    2.2.1  梯度与海瑟矩阵
    2.2.2  矩阵变量函数的导数
  2.3  广义实值函数
    2.3.1  适当函数
    2.3.2  闭函数
  2.4  凸集
    2.4.1  凸集的相关定义
    2.4.2  重要的凸集
    2.4.3  保凸的运算
    2.4.4  分离超平面定理
  2.5  凸函数
    2.5.1  凸函数的定义
    2.5.2  凸函数判定定理
    2.5.3  保凸的运算
    2.5.4  凸函数的性质
  2.6  共轭函数
    2.6.1  共轭函数的定义和例子
    2.6.2  二次共轭函数
  2.7  次梯度
    2.7.1  次梯度的定义
    2.7.2  次梯度的性质
    2.7.3  次梯度的计算规则
  2.8  总结
  习题2
3  第三章  典型优化问题
  3.1  线性规划
    3.1.1  基本形式和应用背景
    3.1.2  应用举例
  3.2  最小二乘问题
    3.2.1  基本形式和应用背景
    3.2.2  应用举例
  3.3  复合优化问题
    3.3.1  基本形式和应用背景
    3.3.2  应用举例
  3.4  随机优化问题
    3.4.1  基本形式和应用背景
    3.4.2  应用举例
  3.5  半定规划
    3.5.1  基本形式和应用背景
    3.5.2  应用举例
  3.6  矩阵优化
    3.6.1  基本形式和应用背景
    3.6.2  应用举例
  3.7  优化模型语言
  3.8  总结
  习题3
4  第四章  最优性理论
  4.1  最优化问题解的存在性
  4.2  无约束可微问题的最优性理论
    4.2.1  一阶最优性条件
    4.2.2  二阶最优性条件
    4.2.3  实例
  4.3  无约束不可微问题的最优性理论
    4.3.1  凸优化问题一阶充要条件
    4.3.2  复合优化问题的一阶必要条件
    4.3.3  实例
  4.4  对偶理论
    4.4.1  拉格朗日函数与对偶问题
    4.4.2  带广义不等式约束优化问题的对偶
    4.4.3  实例
  4.5  一般约束优化问题的最优性理论
    4.5.1  一阶最优性条件
    4.5.2  二阶最优性条件
  4.6  带约束凸优化问题的最优性理论
    4.6.1  Slater约束品性与强对偶原理
    4.6.2  一阶充要条件
  4.7  约束优化最优性理论应用实例
    4.7.1  仿射空间的投影问题
    4.7.2  线性规划问题
  4.8  总结
  习题4
5  第五章  无约束优化算法
  5.1  线搜索算法
    5.1.1  线搜索准则
    5.1.2  线搜索算法
    5.1.3  收敛性分析
  5.2  梯度类算法
    5.2.1  梯度下降法
    5.2.2  Barzilar-Borwein方法
    5.2.3  应用举例
  5.3  次梯度算法
    5.3.1  次梯度算法结构
    5.3.2  收敛性分析
    5.3.3  应用举例
  5.4  牛顿类算法
    5.4.1  经典牛顿法
    5.4.2  收敛性分析
    5.4.3  修正牛顿法
    5.4.4  非精确牛顿法
    5.4.5  应用举例
  5.5  拟牛顿类算法
    5.5.1  割线方程
    5.5.2  拟牛顿矩阵更新公式
      .5.5.3  拟牛顿法的全局收敛性
      .5.5.4  有限内存BFGS方法
    5.5.5  应用举例
  5.6  信赖域算法
    5.6.1  信赖域算法框架
    5.6.2  信赖域子问题求解
    5.6.3  收敛性分析
    5.6.4  应用举例
  5.7  非线性最小二乘问题算法
    5.7.1  非线性最小二乘问题
    5.7.2  高斯一牛顿算法
    5.7.3  Levenberg-Marquardt方法
    5.7.4  应用举例
  5.8  总结
  习题5
6  第六章  约束优化算法
  6.1  罚函数法
    6.1.1  等式约束的二次罚函数法
    6.1.2  收敛性分析
    6.1.3  一般约束问题的二次罚函数法
    6.1.4  应用举例
    6.1.5  其他类型的罚函数法
  6.2  曾广拉格朗日函数法
    6.2.1  等式约束优化问题的增广拉格朗日函数法
    6.2.2  一般约束优化问题的增广拉格朗日函数法
    6.2.3  优化问题的增广拉格朗日函数法
    6.2.4  基追踪问题的增广拉格朗日函数法
  6.3  总结
  习题6
7  第七章  复合优化算法
  7.1  近似点梯度法
    7.1.1  邻近算子
    7.1.2  近似点梯度法
    7.1.3  应用举例
    7.1.4  收敛性分析
  7.2  Nesterov加速算法
    7.2.1  FISTA算法
    7.2.2  其他加速算法
    7.2.3  应用举例
    7.2.4  收敛性分析
  7.3  近似点算法
    7.3.1  近似点算法
    7.3.2  与增广拉格朗日函数法的关系
    7.3.3  应用举例
    7.3.4  收敛性分析
  7.4  分块坐标下降法
    7.4.1  问题描述
    7.4.2  算法结构
    7.4.3  应用举例
  7.5  对偶算法
    7.5.1  对偶近似点梯度法
    7.5.2  原始-对偶混合梯度算法
    7.5.3  应用举例
  7.6  交替方向乘子法
    7.6.1  交替方向乘子法
    7.6.2  Douglas-Rachford Splitting算法
    7.6.3  常见变形和技巧
    7.6.4  应用举例
  7.7  随机优化算法
    7.7.1  随机梯度下降算法
    7.7.2  应用举例
    7.7.3  收敛性分析
    7.7.4  方差减小技术
  7.8  总结
  习题7
附录
  符号表
参考文献
索引