UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式

这一讲的目标是提供一些矩阵分析的工具，因为下一讲我们要尝试导出随机矩阵的Bernstein不等式。

矩阵函数

假设$X$是对称矩阵，则$X$的所有特征值都是实数，我们可以写出$X$的谱分解为
$$X=\sum _{i=1}^n{\lambda }_i{u}_i{u}_i^T$$

其中${\lambda }_i$是特征值，$u_i$是对应的特征向量，假设$f$是一个实函数，则我们定义矩阵函数为
$$f(X)=\sum _{i=1}^{n}f({\lambda }_i)u_i{u}_i^T$$

例 多项式与幂级数
i）称$f(X)$为矩阵多项式如果
$$f(x)=\sum _{i=0}^p{a}_i{x}^i,\forall x\in \mathbb{R}$$

则
$$f(X)=\sum _{j=1}^m\sum _{i=0}^p{a}_i{\lambda }_j^i{u}_i{u}_i^T=\sum _{i=0}^p{a}_i{X}^i$$

ii）称$f(X)$为矩阵的指数函数如果$f(x)=e^x$，则
$$f(X)=\sum _{i=1}^m{e}^{{\lambda }_i}{u}_i{u}_i^T=e^X$$

iii）对一般的解析函数，我们通常不能直接把它的表达式套用到矩阵上，而是只能用它的幂级数来表示，如果
$$f(x)=\sum _{i=0}^{\infty }{a}_i(x-x_0{)}^i$$

则
$$f(X)=\sum _{j=1}^{m}f({\lambda }_j)u_j{u}_j^T=\sum _{i=0}^{\infty }{a}_i(X-x_0{I}_n{)}^i$$

半正定序(positive semi-definite order, PSD order)

记$X\succcurlyeq 0$，如果$X$是半正定矩阵（也就是${\lambda }_i(X)\ge 0$），称$X\succcurlyeq Y$如果$X-Y$是半正定矩阵；这个序关系被称为半正定序，它是一个偏序关系。关于半正定序有下面的结论：

迹不等式

迹不等式在研究随机矩阵的概率不等式时非常有用，最主要的原因就是矩阵的乘法不满足交换律，以Hoeffding不等式的证明为例，对于随机变量，我们有
$$e^{x+y}=e^x{e}^y$$

于是我们可以把一列随机变量拆分称指数的积或者合并到指数上的和，但对于随机矩阵而言$e^{X+Y}=e^X{e}^Y$不一定成立，所以我们需要能代替乘法交换律的工具，最容易想到的当然就是矩阵的迹了，因为在迹中做矩阵乘法是可以交换次序的，下面介绍两个常用的迹不等式：

Golden-Thompson不等式 $A,B$是两个$n$阶对称实矩阵，则
$$tr(e^{A+B})\le tr(e^A{e}^B)$$

Lieb不等式 假设$H$是$n$阶对称实矩阵，定义
$$f(X)=tr(e^{H+\log X})$$

则$f(X)$是$n$阶对称实正定矩阵空间（这是一个convex cone）上的concave function，根据Jensen不等式
$$\begin{gathered} Ef(X)\le f(EX) \\ Etr(e^{H+\log X})\le tr(e^{H+\log EX}) \\ Z=\log X,则Etr(e^{H+Z})\le tr(e^{H+\log E{e}^Z}) \end{gathered}$$