协同正则化最近点(CRNP)的方法是在RNP的方法下发展得到的。他继承了RNP的优点,在计算类与类之间距离的时候,使用L2范数正则化的仿射包,同时协同表示也使CRNP有强大的判别能力。在CRNP中,对系数采用的是L2正则化。这样使得识别更有效。尽管建模的方法不同,但是之前的方法都使用在任意的测试/查询集Q和每一个培训/画廊集合之间的独立类间距离;并将他们直接用于分类,换句话说:根据这些类间的距离进行最近邻的分类。CSA(协作稀疏近似)的模型探索了一种新的分类模型,该模型是由稀疏表示(SRC)8的成功所激发的。更具体地说,CSA寻找Q和所有的Xi在一起的集合距离(把它们当作一个大的集合),然后用单独的画廊集(即Xi)和相应的系数来对Q进行分类。在距离上的协作方式与SRC的潜在功能相一致,因为它们都使用所有的训练数据来重建测试集合/样本。CSA倾向于给属于同一类的样本分配更高的权重,因为在一个相当好的特性空间中,这些样本应该比其他的样本更接近测试集合/样本。因此,通过识别具有较高系数和较低重构残差的样本集,很可能能够获得测试集/样本的正确的类标签。协同方法它只需要计算一次集合到集合的距离,SANP方法本身要计算n个单独的集合到集合的距离,因此协同的方法更有效率。
协同正则化最近点(CRNP)与CSA不同的是:它使用RNP来查找集合到集合的距离,它不再像SANP那样需要确保系数的稀疏性,因此比CSA更简单,计算效率更高。与RNP相比,CRNP只需要一圈的定位距离,所以它可能比RNP快得多。此外,CRNP在分类中引入协作重构进一步加强了对特定类(或特定集合)系数的判别能力。在CRC的工作中,也见证了基于l2范数而不是基于l1范数的协作重建有效性。CRNP是我们所知的第一个基于处理集合的图像分类方法,基于集合的模型使用正规化仿射包,它完全不同于简单的通过同时处理一组测试样本扩展CRC的思路。
将每个图像集建立成一个正则化的仿射包:
正则化的仿射包和普通的仿射包的不同之处:就是对系数的lp范数约束,这种约束能够避免一些离样本均值较远的没有意义的点。
CRNP和RNP相比,计算类间距离的方法和算法的优化发生了改变,CRNP有一个不同的分类模型,它利用了协作距离产生的判别系数。
CRNP的优化问题如下:
是样本集的集合,
是这些集合的相应系数
是平衡系数
RNP的优化问题:
RNP和CRNP之间的变化就是和。这就是协同表示和独立表示的区别,直观图如上图,最终得到不一样的分类结果。
具有相等约束的优化问题可以转换为以下内容无约束最优化问题:
同RNP一样,这样就可以得到一个封闭的解,但是由于矩阵Xi,Y取逆运算需要大量的时间,因此并不是最快的解决方法。
但是上述问题可以通过选择性的计算α和β的值来解决,即:固定α之后,求β的值
固定β之后,求α的值:
为单位矩阵
优化函数有下限值(>=0,因为平方),α和β都是凸的。因为在算法的最小化函数中的每一步都会使函数值降低,因此提出的算法将会减少收敛于全局最优解。
分类:
在CRNP和RNP中,CRNP含蓄的使具有判别能力,从而使对于标签i与其他标签j相比(i不等于j),特定类的重建残差更小。 更大。分类准确性大大提高。此外,除以一个数,可以理解为是平均的残差,只要是防止β中如果存在个别项的值很大影响分类结果,这种思路和归一化的思想是一样的,比如β={1,2,3,10000},这个10000的影响太大了,所以除以这个向量的l2范数来降低或者避免这种情况对分类结果的影响。
CRNP是在RNP上的发展,继承了RNP优点的同时,也证明了与RNP相比有更好的分类结果。