一、本文介绍

本文记录的是利用 CFT 模块改进 YOLOv8 的多模态目标检测网络模型。

CFT（Cross-Modality Fusion Transformer）的设计出发点在于解决传统多模态检测中跨模态特征融合不充分的问题，即当不同模态数据需协同检测时，基于CNN的方法因局部卷积的局限性，难以捕捉长距离依赖和全局模态间的互补信息，导致复杂光照、遮挡等场景下检测精度不足。

本文利用CFT模块，将多模态特征序列拼接后自动学习模态内与模态间的交互权重，在特征提取阶段整合全局上下文信息，增强对不同模态互补特征的利用能力，从而提升模型在多模态场景下的检测鲁棒性与准确性。

---

专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！