LDA思想:给定训练集,将训练集投影到一条直线上,相同类别的投影点尽可能近,不同类别的投影点尽可能远。在对新样本进行分类时,将新样本投影到学习到的该直线上,跟据投影点的位置确定新样的类别。如下图:
二分类任务算法分析:
推广到多分类任务:
多分类任务中类间散度矩阵推导:(x平均为所有样本的平均,xi平均为第i类样本的平均,c为类别数,Ni为第i类样本数)
其中:
代入原式: