0. 摘要
在自动驾驶感知系统中，3D 检测和跟踪是两个基本任务。本文深入研究了这一领域，并在 Sparse4D 框架的基础上进行了扩展。我们引入了两个辅助训练任务（时间实例去噪和质量估计），并提出了解耦注意力机制，以进行结构性改进，从而显著提升了检测性能。此外，我们通过在推理过程中分配实例 ID 的简单方法，将检测器扩展为跟踪器，进一步突出基于查询的算法的优势。在 nuScenes 基准测试上的广泛实验验证了所提出改进的有效性。以 ResNet50 作为骨干网络，我们在 mAP、NDS 和 AMOTA 上分别提升了 3.0%、2.2% 和 7.6%，达到了 46.9%、56.1% 和 49.0%。我们的最佳模型在 nuScenes 测试集上取得了 71.9% 的 NDS 和 67.7% 的 AMOTA。
代码将发布在 github工程链接。
论文免费下载链接
1. 前言
在时序多视角感知研究领域，基于稀疏的算法取得了显著进展 ，其感知性能已达到与基于密集 BEV 的算法相当的水平，同时提供了几个优势：
1) 自由视角转换。这些稀疏方法无需将图像空间转换为 3D 向量空间。
2) 检测头的计算负载恒定，与感知距离和图像分辨率无关。
3) 更容易通过端到端的方式实现下游任务的集成。
在本文研究中，我们选择了基于稀疏的算法 Sparse4Dv2 作为我们改进的基准。该算法的整体结构如图 1 所示。图像编码器将多视角图像转换为多尺度特征图，而解码器模块则利用这些图像特征来优化实例并生成感知结果。
首先，我们观察到与基于密集的方法相比，基于稀疏的方法在收敛上面临更大的挑战，最终影响了它们的最终性能。这一问题在二维检测领域已得到充分研究，主要归因于一对一的正样本匹配。这种匹配方式在训练的初期阶段不稳定，并且与一对多匹配相比，正样本的数量也较少，从而降低了解码器训练的效率。此外，Sparse4D 采用了稀疏特征采样，而不是全局交叉注意力，这进一步阻碍了编码器的收敛，因为正样本稀少。在 Sparse4Dv2 中，引入了密集的深度监督，以部分缓解图像编码器面临的这些收敛问题。本文主要旨在通过关注解码器训练的稳定性来提高模型性能。我们将去噪任务作为辅助监督，并将去噪技术从二维单帧检测扩展到三维时间序列检测。这不仅确保了稳定的正样本匹配，还显著增加了正样本的数量。此外，我们引入了质量估计任务作为辅助监督，这使得输出的置信度评分更加合理，改进了检测结果排名的准确性，并导致更高的评估指标。
此外，我们对 Sparse4D 中的实例自注意力和时间交叉注意力模块进行了结构增强，引入了一种解耦注意力机制，旨在减少计算注意力权重过程中特征干扰。当锚点嵌入和实例特征作为注意力计算的输入时，结果注意力权重中存在异常值。这未能准确反映目标特征之间的相互关联，导致无法聚合正确的特征。通过将加法替换为拼接，我们显著减轻了这一错误现象的发生。这一改进与 Conditional DETR 有相似之处。然而，关键的不同在于我们强调查询之间的注意力，而不是 Conditional DETR 关注查询和图像特征之间的交叉注意力。此外，我们的方法涉及一种不同的编码方法。
最后，为了提升感知系统的端到端能力，我们探索了将3D多目标跟踪任务集成到Sparse4D框架中，从而直接输出目标运动轨迹。与基于检测的跟踪方法不同，我们消除了对数据关联和滤波的需求，将所有跟踪功能整合到检测器中。此外，与现有的联合检测和跟踪方法不同，我们的跟踪器不需要修改训练过程或损失函数。它无需提供真实的ID标注，却能实现预定义的实例到跟踪的回归。我们的跟踪实现最大限度地整合了检测器和跟踪器，不需要修改检测器的训练过程，也无需额外的微调。我们的贡献可以总结如下：
- 我们提出了Sparse4D-v3，一个强大的3D感知框架，包含三种有效的策略：时间实例去噪、质量估计和解耦注意力。
- 我们将Sparse4D扩展为一个端到端的跟踪模型。
- 我们在nuScenes上展示了我们改进的有效性，在检测和跟踪任务中实现了最先进的性能。