极大似然估计（MLE）和极大后验估计（MAP）分别是频率学派和贝叶斯学派（统计学者分为两大学派，频率学派认为参数是非随机的，而贝叶斯学派认为参数也是随机变量）的参数估计方法，下面我们以线性回归分析为例，分别简要介绍MLE和MAP，两者的关系以及分别与最小二乘回归、正则化最小二乘回归分析的关系。（非常不专业和严谨，只希望通过最直接的方式帮助初学者理解这两种估计）。
线性回归问题：给定观测数据(机器学习中通常叫做训练集)$S=\{x_i,y_i\}_{i=1}^N,x_i\in R^m, y_i\in R$，我们希望利用$S$通过某种方式获得一个从$R^m$到$R$的函数以表达$x$与$y$之间的关系，进一步实现给定任意$x$值，预测出对应的$y$值。为了简单化，我们通常假设这个函数具有如下表达式$$ y = w^Tx + \epsilon, \epsilon \sim N(0,\sigma^2),$$ 其中$w\in R^m$是我们需要利用$S$来确定的参数。这里我们先不考虑偏置项，或者偏置也可以通过对$x$扩充1纳入这个模型。下面我们分别通过MLE和MAP来确定$w$的值。
极大似然估计（MLE）: 极大似然估计的认为观测值$y$是由分布$p(y|x,w)$采样产生的，也就是一个$w$的取值就可以确定一个$p(y|x,w)$，进而确定一种$y$的采样。因此可以认为$y$是结果，而$w$是原因。现在结果已经发生了，我们需要确定原因。所以我们就找最可能使得这个结果发生的原因，即极大化结果$y$发生的概率。