结合基于标签置信度的特征选择方法用于部分多标签学习-简介版

假设

  1. 部分多标签学习(PML)假设:样本的标签集合中存在伪正标签,即部分标签可能是错误的,目标是从候选标签集中识别真实标签。
  2. 特征与标签的关系假设:不同标签对应的特征子空间可能不同,而非所有标签共享同一特征空间。

技术路线

论文提出了一种基于标签置信度的特征选择方法(LCFS-PML),核心步骤如下:

  1. 标签置信度计算
    • 通过同标签样本的平均距离和样本到聚类中心的距离评估标签可靠性。
  2. 特征与标签联合优化
    • 在每个标签的独特特征子空间中计算置信度,去除低置信度的伪标签。
  3. 交替优化
    • 优化特征子空间后更新标签置信度,迭代进行直至收敛。

创新点

  1. 标签置信度评估方法:结合同标签样本平均距离和到聚类中心的距离,提升标签真实性评估精度。
  2. 基于标签的特征选择:为每个标签构建独立的最优特征子空间,提高分类精度。
  3. 特征-标签交替优化:形成闭环优化,增强模型稳定性和鲁棒性。

数学公式

  1. 标签置信度计算
    • 同标签样本平均距离:

d avg , i , l = 1 K ∑ j = 1 K d ( f i l , f j l ) d_{\text{avg}, i, l} = \frac{1}{K} \sum_{j=1}^{K} d(f_i^l, f_j^l) davg,i,l=K1j=1Kd(fil,fjl)

  • 到聚类中心的距离:

d C , i , l = min ⁡ c ∈ C l d ( f i l , c ) d_{C, i, l} = \min_{c \in C_l} d(f_i^l, c) dC,i,l=cClmind(fil,c)

  • 标签置信度:

T i , l = exp ⁡ ( − ( 1 + λ ) ⋅ d avg ⋅ d C λ d avg + d C ) T_{i, l} = \exp\left( \frac{-(1 + \lambda) \cdot d_{\text{avg}} \cdot d_C}{\lambda d_{\text{avg}} + d_C} \right) Ti,l=exp(λdavg+dC(1+λ)davgdC)

 其中,$\lambda$ 为权重参数。
  1. 优化目标函数

min ⁡ W , S ∥ X ( W + S ) − L ∥ F 2 + α ∥ X W − L ∗ ∥ F 2 + β ∥ W ∥ 2 , 1 + γ ∥ S ∥ 1 \min_{\mathbf{W}, \mathbf{S}} \| \mathbf{X} (\mathbf{W} + \mathbf{S}) - \mathbf{L} \|_F^2 + \alpha \| \mathbf{X} \mathbf{W} - \mathbf{L}^* \|_F^2 + \beta \| \mathbf{W} \|_{2,1} + \gamma \| \mathbf{S} \|_1 W,SminX(W+S)LF2+αXWLF2+βW2,1+γS1

其中, W \mathbf{W} W 为特征-标签映射矩阵, S \mathbf{S} S 为稀疏噪声矩阵, α , β , γ \alpha, \beta, \gamma α,β,γ 为超参数。


技术实现细节

  1. 初始化
    • 计算初始标签置信度矩阵 T T T,设定特征选择比例 p p p
  2. 交替优化
    • 优化 W \mathbf{W} W:通过梯度下降确保稀疏性。
    • 优化 S \mathbf{S} S:采用交替方向乘子法(ADMM)。
    • 更新 T T T:基于优化后的特征子空间重新计算置信度。
  3. 收敛:迭代至目标函数损失值稳定。

实验与结论

  • 数据集:Music_emotion、Mirflickr、YeastBP 等真实数据集及合成数据集。
  • 对比方法:LSNRFS、PML-FSSO、PML-LD、PAMB、ML-KNN。
  • 结果
    • LCFS-PML 在 Micro-F1 和 AP 上优于对比方法,HL 和 One-error 显著降低。
  • 消融实验
    • 去除标签置信度(LCFS-A):性能下降。
    • 去除特征映射(LCFS-B):优化不稳定。
  • 收敛性:损失值在 20-30 次迭代后稳定。
  • 复杂度:时间复杂度 O ( n 2 d + n d l + l 2 d ) O(n^2d + ndl + l^2d) O(n2d+ndl+l2d)

总结

  1. LCFS-PML 有效去除伪正标签,提升分类性能。
  2. 特征-标签交替优化策略使两者相互促进。
  3. 实验验证其优于现有 PML 方法,适用于高维和噪声数据。
  4. 计算复杂度合理,未来可扩展至文本分类、基因分析、图像标注等领域。