机器学习时间序列之Wiener Solution

以下手稿属于Principe大佬，硕士课程上的大佬的课

wiener solution

信号+additive noise > 线性系统=>y(n)

信号 ============> 维纳滤波>d(n)

• 利用过去的M个点（包括当前）预测
• 对代价函数求导=0,引出P和R
  根据上图，我们定义如下：
• 互相关方程(crosscorrelation function)
  $P(i) = E[x(n-i)d(n)]$
• 自相关方程(autocorrelation function)
  $R(i-k) = E[x(n-i)x(n-k)]$

因此，我们有Wiener-Hopf equations
$P(i) = \sum_{k=0}^{M-1} R(i-k) w(k)$

因此我们的目标为：

$\vec{w}_{opt} = \vec{R}^{-1}\vec{P}$

插曲：最小化MSE等价于使得error向量 与输入向量x(n)正交