最小二乘法的概率解释
为什么在线性回归问题中我们选择最小二乘法定义代价函数
首先,我们假设对于每一个样本实例
其中,
让我们进一步假设误差
当给定参数
注:
又因为似然函数(Likelihood Function)如下:
其中,
将上述结论带入似然函数可得:
为了计算出参数
因此,我们不难发现最大化对数似然,实际上在最小化
为什么在线性回归问题中我们选择最小二乘法定义代价函数
首先,我们假设对于每一个样本实例
其中,
让我们进一步假设误差
当给定参数
注:
又因为似然函数(Likelihood Function)如下:
其中,
将上述结论带入似然函数可得:
为了计算出参数
因此,我们不难发现最大化对数似然,实际上在最小化