Cost function

cost function的形式

cost function的推导满足以下过程：
1. 认为error 满足某个分布，写出样本点xi的样本的error
2. 认为样本点是相互独立的，推导出其对数似然函数
3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式

e.g.
线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linear-Regression/

常见的cost function

均值和中位数的意义

在这样的框架下，假设fx是一个常函数，即fx=c

假设cost function 符合高斯分布时：

样本的均值就是最好的模型

假设cost function 符合Laplace分布：

中位数就是最好的模型

因此当给定损失函数形式的情况下，一个常函数的模型总是可求的

参考：
1. 邹博博士课件