为便于理解和应用,以下将30篇关于长尾分布的研究文献按主题进行分类整理。每一大类包含相应的工作,帮助我们从整体上把握各方向的研究进展。
1. 长尾半监督学习与伪标签优化
- Paper90: Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning
- 提出了一种动态阈值选择方法(UDTS),能有效改善尾部分类性能,适用于不平衡类别的半监督学习。
- Paper94: Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning
- 提出CPE方法,通过训练多个专家生成高质量伪标签,解决长尾半监督学习中的类分布不平衡问题。
2. 长尾分布下的视觉识别与增强策略
- Paper91: DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
- 利用扩散模型扩展少数类的视觉空间,通过语言空间增强尾部类别,改善长尾视觉关系识别。
- Paper99: Long-Tail Learning with Rebalanced Contrastive Loss
- 提出RCL方法,结合类频率平衡的SoftMax损失和平衡对比学习损失,显著提升特征学习的均衡性和分类准确度。
- Paper95: Long-Tailed 3D Detection via 2D Late Fusion
- 提出了LT3D方法,融合独立训练的LiDAR和RGB检测器,显著提高稀有类别在3D物体检测中的AP。
- Paper110: Learning from Rich Semantics and Coarse Locations for Long-tailed Object Detection
- 提出RichSem方法,通过粗略位置的丰富语义信息提升长尾目标检测性能,无需精确边界框。
3. 长尾分布下的异常检测与OOD识别
- Paper96: Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Learning
- 提出COCL方法,通过大间隔学习区分OOD样本与头尾类,显著提升OOD检测性能。
- Paper97: EAT: Towards Long-Tailed Out-of-Distribution Detection
- 提出了通过引入弃权类别和丰富OOD数据上下文的方法,有效提升OOD检测在长尾分布下的性能。
4. 长尾分布的医学影像识别
- Paper92: Large-scale Long-tailed Disease Diagnosis on Radiology Images
- 介绍了RadDiag系统,利用多模态和多结构输入,进行全面疾病诊断,显著提升诊断准确率。
- Paper100: Long-tailed multi-label classification with noisy label of thoracic diseases from chest X-ray
- 提出LTML-MIMIC-CXR数据集和基线方法,显著提高罕见胸科疾病的检测,为多标签分类奠定基础。
- Paper108: Towards long-tailed, multi-label disease classification from chest X-ray: Overview of the CXR-LT challenge
- 发起CXR-LT挑战,推出大规模长尾分布胸部X光图像基准,推动长尾多标签疾病分类研究。
5. 长尾学习中的联邦学习与优化
- Paper98: CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data
- 利用CLIP模型优化联邦学习,通过知识蒸馏和原型对比提高异构和长尾数据上的特征表示能力。
- Paper113: Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer
- 提出Fed-GraB方法,通过自调节梯度平衡和先验分析处理联邦学习中的长尾分布,提升模型性能。
6. 长尾学习中的分类器对齐与增强
- Paper105: Robust Feature Learning and Global Variance-Driven Classifier Alignment for Long-Tail Class Incremental Learning
- 提出两阶段框架,使用全局方差实现分类器对齐,逐步学习新类别,减轻灾难性遗忘。
- Paper106: Long-Tailed Learning as Multi-Objective Optimization
- 提出将长尾识别作为多目标优化问题处理,通过梯度平衡策略更新尾部类别,显著提升分类性能。
- Paper112: Long-Tailed Classification Based on Coarse-Grained Leading Forest and Multi-Center Loss
- 构建粗粒度森林和多中心损失来表征类内属性分布,并逐步消除特征学习过程中的混淆,提升分类性能。
7. 长尾分布的对比学习与自监督学习
- Paper109: WeedCLR: Weed Contrastive Learning through Visual Representations with Class-Optimized Loss in Long-Tailed Datasets
- 提出WeedCLR方法,通过视觉对比学习和类优化损失解决长尾数据集中的杂草分类问题,取得显著提升。
- Paper116: Long-tail Augmented Graph Contrastive Learning for Recommendation
- 提出LAGCL方法,增强尾节点信息,通过图对比学习改善GCN推荐系统中的长尾问题。
8. 长尾分布下的生成与数据增强
- Paper93: Revealing the Proximate Long-Tail Distribution in Compositional Zero-Shot Learning
- 发现CZSL中视觉偏差导致的后果近似长尾分布,提出通过类先验估计解决视觉偏差问题,提高预测平衡性。
- Paper104: Data-Centric Long-Tailed Image Recognition
- 提出特征多样性增益(FDG)用于解释信息增强方法的有效性,选择增强数据以提高模型性能。
- Paper119: Collisions between kinks with long-range tails: a simple and efficient method
- 提出高效构建具有长程尾部孤立子散射的方法,速度远超传统方法,用于模拟物理现象。
9. 长尾问题中的系统与应用场景优化
- Paper103: Large Language Model based Long-tail Query Rewriting in Taobao Search
- 提出BEQUE框架,优化淘宝搜索中的长尾查询,提高用户体验和公司营收,成功部署到淘宝平台。
- Paper114: A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition
- 提出DB-LTR模型,通过不平衡学习和对比学习两分支,提升尾类的适应能力。
以上为针对30篇长尾分布相关文献的分类整理,通过这种系统化梳理,有助于更好地了解各领域的长尾分布问题及相应的解决方案,尤其是在长尾学习、医学影像、联邦学习以及视觉增强等多个方向的应用。
Paper90 Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning
摘要小结: 本文针对不平衡类别下的半监督学习问题,提出了一种考虑伪标签不确定性的方法,称为Uncertainty-Aware Dynamic Threshold Selection (UDTS),该方法能够根据不同训练阶段调整伪标签的选择阈值,有效提升了模型对尾部分类性能,相比于FixMatch等方法在多个数据集上平均提高了至少约5.26%的准确率。
Paper91 DiffAugment: Diffusion based Long-Tailed Visual Relationship Recognition
摘要小结: 本文提出了一种名为DiffAugment的方法,旨在解决视觉关系识别(VRR)中的长尾分布问题,通过在语言空间使用WordNet对尾部类别进行增强,并利用扩散模型的生成能力扩展少数类的视觉空间;同时引入了基于三元组硬度感知的扩散组件和一种新的基于主体和客体的扩散采样策略,提高了生成的视觉嵌入的区分能力,实验表明在GQA-LT数据集上,该方法在主体/客体和关系平均每类准确度上取得了显著提升。
Paper92 Large-scale Long-tailed Disease Diagnosis on Radiology Images
摘要小结: 本文介绍了RadDiag,一种支持多种模态和解剖结构的2D和3D输入的基于Transformer的融合模块基础模型,用于全面疾病诊断,利用在线的高质量、临床医生审核的放射图像数据集RP3D-DiagDS(含40,936个病例)进行训练,并在内部评估中实现了95.14%的AUC,同时RadDiag还能零样本应用或微调到外部数据集,展现了先进的结果,表明公开分享的互联网医疗数据是构建医疗通用AI的宝贵资源。
Paper93 Revealing the Proximate Long-Tail Distribution in Compositional Zero-Shot Learning
摘要小结: 该研究针对Compositional Zero-Shot Learning (CZSL)中的视觉偏差问题,发现这种偏差导致的后果近似长尾分布,并将其转化为类不平衡问题,通过估计类先验来解决视觉偏差,提高了分类器获取更可辨别的类原型,从而实现了更平衡的预测,实验结果显示该方法提升了模型性能至最先进水平。
Paper94 Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning
摘要小结: 这篇研究提出了ComPlementary Experts (CPE) 方法,以解决长尾半监督学习(LTSSL)中的挑战,即标签数据类分布不平衡且未标签数据分布未知的问题。CPE通过训练多个专家来应对不同类分布,生成高质量的伪标签,并引入类别批量归一化避免性能下降,在多个数据集上达到了最先进性能,例如在CIFAR-10-LT上提高了2.22%的测试准确率。
Paper95 Long-Tailed 3D Detection via 2D Late Fusion
摘要小结: 该研究提出了Long-Tailed 3D Object Detection (LT3D)方法,旨在准确检测常见和稀有类别的物体,解决了传统多模态检测器在稀有类别上AP低的问题。主要通过简单的晚期融合框架,整合独立训练的单模态LiDAR和RGB检测器,显著提高了稀有类别检测,并优于先前工作7.2%。研究还深入探讨了三个关键组件,最终在nuScenes LT3D基准上以51.4 mAP的成绩,比先前工作提高了5.9 mAP。
Paper96 Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Learning
摘要小结: 该研究针对长尾识别(LTR)场景中现有OOD方法无效的问题,提出了一种新颖的校准异常类学习(COCL)方法,通过引入去偏差的大间隔学习来区分OOD样本与头尾类,并定义了异常类感知的日志校准方法,在CIFAR10-LT等三个基准上显著提高了OOD检测性能并改善了ID数据的分类准确率。总结来说:该研究提出了COCL方法,有效解决了长尾识别场景中OOD样本与头尾类混淆的问题,提升了OOD检测和ID数据分类性能。
Paper97 EAT: Towards Long-Tailed Out-of-Distribution Detection
摘要小结: 这篇论文主要针对长尾分布下的外来数据(OOD)检测任务,提出了一种方法来解决在长尾类分布中区分OOD数据和尾部类样本的难题。研究者提出了两个简单想法:(1)通过引入多个弃权类别来扩展分布类空间;(2)通过将图像叠加到丰富的OOD数据上来增强尾部类的上下文。他们还通过分析梯度噪声提供了区分分布内和OOD数据的线索,实验证明该方法优于现有技术,并且可以作为现有长尾学习方法的附加工具,显著提升OOD检测性能。
Paper98 CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data
摘要小结: 本文提出了一种名为CLIP2FL的方法,利用CLIP模型优化异构和长尾数据上的联邦学习,通过知识蒸馏和原型对比学习来提高客户端特征表示能力,并减轻用户异质性和类分布不平衡问题,从而在服务器端重新训练一个平衡的分类器。
Paper99 Long-Tail Learning with Rebalanced Contrastive Loss
摘要小结: 本文提出了Rebalanced Contrastive Learning(RCL)方法,通过解决特征空间均衡性、同类紧凑性和正则化三个主要方面,提高长尾学习的分类准确度,将基于类频率的SoftMax损失平衡与监督对比学习损失结合,并在Balanced Contrastive Learning(BCL)框架上实现,实验证明RCL丰富了学习到的嵌入并提高了平衡准确度,且作为独立损失也达到了最先进水平。
Paper100 Long-tailed multi-label classification with noisy label of thoracic diseases from chest X-ray
摘要小结: 本文提出了一种新的胸部X射线(CXR)的长尾多标签分类基准,通过开发“LTML-MIMIC-CXR”数据集,该数据集增加了26种罕见疾病,并提出了一个基线方法来应对这一分类挑战,显著提高了罕见疾病的检测,为平衡识别CXR中的各种胸科疾病提供了坚实基础。
Paper101 In Search of the Long-Tail: Systematic Generation of Long-Tail Inferential Knowledge via Logical Rule Guided Search
摘要小结: 该研究主要提出了Logic-Induced-Knowledge-Search (LINK)框架,用于生成涉及长尾推理知识的事实正确语句,以更有效地评估LLMs在推理空间的表现;并构建了Logic-Induced-Long-Tail (LINT)数据集,发现LLMs在长尾分布上的性能显著下降,强调了在长尾分布中评估模型的必要性。
Paper102 Generalized test utilities for long-tail performance in extreme multi-label classification
摘要小结: 这篇论文主要研究了极端多标签分类(XMLC)任务,针对长尾标签问题,提出使用预算的“k”泛化度量作为解决方案,并通过预期测试效用(ETU)框架来优化这些度量,推导出最优预测规则,构建了计算效率高的近似方法,最终算法在XMLC问题上取得了良好的长尾性能。总结来说:论文提出了一种新的方法来优化XMLC中的长尾标签问题,通过泛化度量预算“k”和ETU框架,实现了更好的性能和计算效率。
Paper103 Large Language Model based Long-tail Query Rewriting in Taobao Search
摘要小结: 本文提出了BEQUE框架,旨在通过三个阶段的处理(多指令监督微调、离线反馈和目标对齐)来桥接长尾查询的语义差距,有效优化长尾查询并缓解“少召回”现象,离线实验和在线A/B测试均证明了该方法在提升用户体验和公司营收方面的有效性,并已在淘宝平台部署。
Paper104 Data-Centric Long-Tailed Image Recognition
摘要小结: 这篇工作在长尾场景下,主要贡献是引入了特征多样性增益(FDG)概念来解释信息增强方法的有效性,并通过FDG选择增强数据以提高模型性能,同时首次系统地介绍了数据中心的长尾学习框架的核心组件和基本任务,强调了数据为中心的方法在长尾识别任务中的潜力,而不仅仅是新模型结构的发展。
Paper105 Robust Feature Learning and Global Variance-Driven Classifier Alignment for Long-Tail Class Incremental Learning
摘要小结: 这篇论文提出了一个两阶段的框架,旨在提高长尾类别增量学习的效果,使模型能够逐步学习新类别并减轻在长尾数据分布中的灾难性遗忘;通过利用全局方差和类原型实现分类器对齐,有效捕捉类属性,无需数据平衡或额外层调整,同时使用mixup类学习鲁棒特征表示,实验证明该框架在CIFAR-100和ImageNet-Subset数据集上优于现有技术,能有效处理长尾类别增量学习场景。
Paper106 Long-Tailed Learning as Multi-Objective Optimization
摘要小结: 这篇论文指出现实世界数据的长尾分布导致模型对样本充足的类别有偏见,并针对此提出了一个新方法来解决“跷跷板困境”。主要工作是通过将长尾识别视为一个多目标优化问题,并提出了Gradient-Balancing Grouping策略,以聚集具有相似梯度方向的类别,从而有效地更新并提供了对尾部类别的理想补偿,实验证明该方法优于现有的SOTA方法。
Paper107 How Re-sampling Helps for Long-Tail Learning?
摘要小结: 这篇论文主要研究了在长尾学习中,重新采样方法的有效性,发现其效果在不同数据集上表现不一,并提出了一种新的上下文转换增强模块来防止学习虚假相关性,提高了尾类别的泛化能力,并在实验中证明了其方法优于其他包括重新采样在内的方法。
Paper108 Towards long-tailed, multi-label disease classification from chest X-ray: Overview of the CXR-LT challenge
摘要小结: 该研究主要工作是在胸部X光图像识别领域,针对长尾分布和多标签问题,发起了一个名为CXR-LT的公开挑战,并发布了一个包含超过35万张X光图像的大型基准数据集,这些图像被标记有26种临床发现,遵循长尾分布。研究还总结了表现优异解决方案的常见主题,为长尾多标签医疗图像分类提供了实用建议,并提出了使用视觉-语言基础模型进行少样本和零样本疾病分类的未来路径。
Paper109 WeedCLR: Weed Contrastive Learning through Visual Representations with Class-Optimized Loss in Long-Tailed Datasets
摘要小结: 这篇论文提出了WeedCLR方法,通过视觉表示进行杂草对比学习,利用类优化损失和深度表示的冯·诺依曼熵在长尾数据集中进行杂草分类,该方法利用自监督学习无需标签即可学习丰富且鲁棒的视觉特征,并在长尾数据集中解决类不平衡问题,在两个公共杂草数据集上取得了显著的性能提升,且无需昂贵的标注,为杂草分类提供了有效工具。
Paper110 Learning from Rich Semantics and Coarse Locations for Long-tailed Object Detection
摘要小结: 该研究提出了RichSem方法,旨在通过利用图像级别的丰富语义信息来解决长尾目标检测中的数据不平衡问题,该方法能够在不需要精确边界框的情况下,从粗略位置学习丰富语义,并将这些语义作为软监督增强检测器的特征表示,在不复杂的训练和测试流程中,RichSem在LVIS数据集上取得了整体的和稀有类别的持续改进,并在其他长尾数据集上展示了有效性。总结来说:RichSem是一种简单有效的方法,通过学习图像级别的丰富语义来提升长尾目标检测的性能,且无需复杂训练过程。
Paper111 Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning
摘要小结: 这篇研究针对长尾分布场景中模型对尾类识别能力有限的问题,提出了一种正交不确定性表征(OUR)和端到端训练策略,以提高模型在鲁棒性方面的长尾现象。该方法作为一种通用增强工具,与其他方法兼容性好,无需额外数据生成,能在长尾数据集上显著提高模型鲁棒性的长尾现象,并为其他长尾学习方法带来一致的性能提升。
Paper112 Long-Tailed Classification Based on Coarse-Grained Leading Forest and Multi-Center Loss
摘要小结: 本文提出了一种新的长尾分类框架,旨在通过不变特征学习构建一个多粒度的分类模型,解决现有方法忽视属性级别不平衡的问题。方法包括构建粗粒度森林来表征类内属性分布,并使用多中心损失逐渐消除特征学习过程中的混淆属性,该框架可作为一个独立组件与任何现有长尾方法集成,实验证明其能在多个基准上提升性能。
Paper113 Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer
摘要小结: 这篇论文提出了Fed-GraB方法,旨在解决联邦学习中的长尾分布问题,通过Self-adjusting Gradient Balancer模块和Direct Prior Analyzer模块,有效处理数据异质性和长尾分布,提高模型在少数类上的性能,实验显示其在多个数据集上达到先进性能。简而言之,主要工作是提出了Fed-GraB,用于在联邦学习中处理长尾分布,通过调整梯度平衡和直接先验分析来提升模型表现。
Paper114 A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition
摘要小结: 本文提出了一种名为Dual-Branch Long-Tailed Recognition (DB-LTR)的简单有效的模型,针对现实数据的长尾分布问题,该模型包含一个不平衡学习分支和一个对比学习分支(CoLB),通过不平衡学习分支处理数据不平衡问题,而CoLB通过学习每个尾类的原型并计算多种损失,提高模型对尾类的适应能力,实验证明DB-LTR在三个长尾基准数据集上表现优于比较方法。
Paper115 A class-weighted supervised contrastive learning long-tailed bearing fault diagnosis approach using quadratic neural network
摘要小结: 本文提出了一种名为CCQNet的监督对比学习方法,通过一种类感知的损失函数来增强神经网络在轴承故障诊断中的特征提取能力,特别适用于处理工业设置中常见的极度不平衡或长尾数据;该方法通过使用类加权对比损失和logit调整交叉熵损失,提高了对少数类的关注,实验证明其效果优于现有方法。
Paper116 Long-tail Augmented Graph Contrastive Learning for Recommendation
摘要小结: 本文提出了一个新的推荐系统方法——长尾增强图对比学习(LAGCL),旨在解决现有GCN推荐方法中头尾节点度差异显著导致的表现不均匀问题。通过引入可学习的长尾增强方法来补充尾节点的预测邻居信息,并生成基于增强图的对比视图。LAGCL设计了自动丢弃模块和知识转移模块,以及使用生成对抗网络确保生成的节点分布匹配。实验证明,LAGCL在性能上显著优于现有技术,尤其是在长尾表现上。以下是总结:本文提出的LAGCL方法通过增强尾节点信息和对比学习,有效解决了GCN推荐系统中的长尾问题,提高了性能并确保了表示分布的均匀性。
Paper117 Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts
摘要小结: 本文揭示了在长尾学习任务中,过度的微调可能会导致尾部类别的性能非可忽视的恶化,而轻量级微调更为有效,并基于此观察开发了一种低复杂度的准确长尾学习算法LIFT,该算法通过自适应轻量级微调实现了更快的预测和更紧凑的模型,实验证明其训练时间和学习参数显著减少且预测性能更准确。
Paper118 LCReg: Long-Tailed Image Classification with Latent Categories based Recognition
摘要小结: 本工作提出了一种新的长尾图像识别方法LCReg,通过学习头尾类别共享的类无关潜在特征并对其执行语义数据增强,以提高尾部类别的特征表示,从而在五个长尾图像识别数据集上显著提高了基线性能。
Paper119 Collisions between kinks with long-range tails: a simple and efficient method
摘要小结: 本文提出了一种构建具有长程尾部的孤立子(kinks)散射的初始配置方法,利用了在Bogomol’nyi-Prasad-Sommerfield (BPS) 保持杂质存在下的孤立子解,该方法具有高效、易于实施且计算成本极低的特点,其算法复杂度远低于常规最小化方法,在某些情况下速度可提高一百倍以上,使得孤立子-反孤立子模拟变得非常简单。