目录
0 前言
几乎所有的机器学习算法最后都归结为求解最优化问题，以达到我们想让算法达到的目标。为了完成某一目标，需要构造出一个“目标函数”来，然后让该函数取极大值或极小值，从而得到机器学习算法的模型参数。如何构造出一个合理的目标函数，是建立机器学习算法的关键，一旦目标函数确定，接下来就是求解最优化问题。
1 推荐书单
对于国内的学员可以看第一本书，对于最优化问题的讲解是非常详细的。
这是第一本书的链接：最优化：建模、算法与理论/最优化计算方法
2 优化问题的基本范式
基本范式如下：
其中默认假设：
1、 The objective function is lower bounded.
目标函数f(x)不能存在负无穷的值，这样会导致最优值不能用浮点数来表述。最优值可以很小，但必须有界（即f(x)大于等于α）。
2、The objective function has bounded sub-level sets.
一个函数满足一定条件时的定义域上的一系列点的集合(set)。level，水平的，指函数的取值，sublevel 即低于这个取值。此时要求目标函数不能存在当x趋于无穷时函数趋于某个值即下水平集无界，这同样会导致最小值无法用浮点数表示。
默认的假设都是理想的数值优化方法在计算机实际运算中需要注意的问题
3 数值优化在机器人领域的应用
在slam、轨迹规划、点云配准、TOPP问题上都有数值优化的应用
