code: naver-ai/dual-teacher: Official code for the NeurIPS 2023 paper "Switching Temporary Teachers for Semi-Supervised Semantic Segmentation" (github.com)
paper: 7eeb42802d3750ca59e8a0523068e9e6-Paper-Conference.pdf (neurips.cc)
在半监督语义分割中流行的师生框架，主要采用指数移动平均(EMA)基于学生的权重来更新单个教师的权重。然而，EMA更新提出了一个问题，即教师和学生的权重正在耦合，从而导致潜在的性能瓶颈。此外，当使用更复杂的标签(如分割掩码)进行训练时，这个问题可能会变得更加严重，但注释数据很少。本文介绍了一种简单而有效的方法，即采用双临时教师来缓解学生的耦合问题。临时教师轮班工作，并逐步提高，因此始终防止教师和学生过于亲密。具体来说，临时教师周期性地轮流生成伪标签来训练学生模型，并在每个时代保持学生模型的鲜明特征。因此，与最先进的方法相比，Dual Teacher在PASCAL VOC， cityscape和ADE20K基准测试中获得了具有竞争力的表现，培训时间明显缩短。此外，我们证明了我们的方法是模型不可知的，并且与基于CNN和transformer的模型兼容。代码可从https://github.com/naver-ai/dual-teacher获得。
1 Introduction 介绍
随着深度神经网络的发展，语义分割作为视觉理解的计算机视觉任务的关键组成部分也在不断发展[8,9,55]。然而，流行的方法主要是基于监督学习方法，仍然需要在像素级进行费力和耗时的手动注释。为了缓解这种内在的挑战，半监督语义分割最近成为人们关注的焦点，它只需要少量的标签。成功的半监督学习的一个关键挑战是如何从未标记的数据中获得可靠和一致的标签，特别是在半监督分割等要求更高的任务中。伪标记[22]是最流行的方法，它将现成模型的类预测作为未标记数据的标签进行训练。另一个开创性的工作，师生框架[36]，