HybridNets的重要内容翻译。其主要改进点为：主干网络替换为EfficientNet-B3；颈部网络由FPN替换为BiFPN；分割损失修改为Focal损失+Tversky损失，后者可以改善类别不平衡问题。
摘要：
端到端网络在多任务处理中已经变得越来越重要。其中一个突出的例子是驾驶感知系统在自动驾驶中的重要性。本文系统地研究了一种用于多任务处理的端到端感知网络，并提出了几种关键的优化方法来提高准确率。首先，提出了基于加权双向特征网络的高效分割头和边界/类别预测网络。其次，提出了加权双向特征网络中各层的自动定制锚框方法。第三，提出了一种有效的训练损失和训练策略来平衡和优化网络。基于这些优化，我们提出了一种端到端的感知网络来执行多任务处理，包括交通目标检测、可行驶区域分割和车道线检测，称这个网络为HybridNet，它比现有SOTA有更好的准确率。HybridNets在BDD100K数据集上进行实验，mAP为77.3%，mIoU为31.6%，参数量为12.83百万，浮点运算量为15.6GFLOPs。此外，它可以实时执行视觉感知任务，因此是一个实用和准确的多任务问题的解决方案。代码放在https://github.com/datvuthanh/HybridNets。
关键词：端到端网络；多任务学习；检测；分割；自动驾驶
1 介绍
1.1 背景
总的来说，本文的贡献如下所示：
1.HybridNets，一个端到端的网络，在BDD100K上取得了非常好的结果，在速度上也能实时检测；
2.可以在任意数据集，在加权双向特征网络中为每个层级自动定制锚框；
3.提出了一种训练损失函数和训练策略来平衡和优化多任务网络。
1.2 相关工作
2 方法论
2.1 网络结构
输入是640×384，每层特征图的尺寸为。
2.2 编码器
主干网络用于提取特征，是网络的重要组成部分，能够帮助各部分网络在各个子任务上取得好的性能我们的主干网络采用的是EfficientNet-B3。
FPN的局限性是特征信息来自于单一途径。因此，我们在颈部网络中采用基于EfficientDet的BiFPN。BiFPN可以跨阶段地融合不同尺度的特征，包含一条自上而下和一条自下而上的传递路径。
2.3 解码器
解码器包括分割头和检测头两个部分：分割头输出三个类别，分别为可行驶区域、车道线和背景，分割头的输入是主干网络的P2；检测头的输入是BiFPN的输出。
2.4 损失函数和训练
检测损失的类别损失和前景损失采用Focal损失，边界框回归损失采用优化后的smoothL1损失。
分割损失结合了Tversky损失和Focal损失，Tversky损失可以改善类别不平衡问题。
3 试验
3.1 试验设置
RTX3090，epochs=200，batch-size=16
3.4 实验结果
目标检测
可行驶区域分割
车道线检测