在机器学习的文章中,经常碰到 的情况,本文给出在 和 满足一定条件下如何应用更加高效的方法求解。
假定 为可逆 矩阵, 为 矩阵,则 可由如下的行化简求得
由此可推出两个结论:
(1)
(2) 当 是大于 的矩阵时,则行化简方式要比单独计算 和 快
证明(1): 行化简相当于对 和 同时施行了多次 行变换,这些行变换使得 变成了单位矩阵 ,则这些行变换的效果相当于 ,因此 相当于被左乘上了 ,因此便有了 。
证明(2): 将 变成了单位矩阵 最多执行 次算术运算,其中 表示剔除对角线上的元素,这些元素在行变换过程中不需要处理,每次行变换需要在两个行向量的每个元素上执行算术运算,因此复杂度为 ; 单独计算 和 的复杂度为 ,显然前者相对后者大约减少了 次运算。