论文速读|Progressive Multimodal Reasoning via Active Retrieval
论文信息：
简介:
本文探讨了多步多模态推理任务对于多模态大型语言模型（MLLMs）的挑战，特别是在提升这些模型在复杂推理场景中的表现方面。MLLMs在处理涉及数学推理和视觉问答等任务时，需要进行多步骤推理，每一步都可能产生多个分支和候选推理路径。有效地识别包含关键问题解决步骤的正确路径，同时排除错误路径，对于模型的推理能力至关重要。然而，现有的方法在推理路径扩展和模拟过程中存在局限性，尤其是在多模态场景中，模型内部知识不足以支持推理路径扩展，因为不同模态输入之间的交互常常出现错位。
本文的动机在于现有的MLLMs在处理多模态复杂推理任务时，由于模型内部知识的不足，导致在推理路径扩展时遇到困难。此外，手动标注推理路径需要大量的人力资源，限制了其可扩展性和适用性。为了克服这些挑战，本文提出了一种结合主动检索（AR）和蒙特卡洛树搜索（MCTS）的框架，以期通过检索外部知识来增强推理路径扩展的质量，并改善MLLMs在复杂多模态推理中的能力。
论文方法:
本文提出了一个名为AR-MCTS的通用框架，该框架通过AR和MCTS逐步提高MLLMs的复杂推理能力。
具体方法包括以下几个关键组件和步骤：
1)统一检索模块：开发了一个统一的检索模块，从混合模态检索语料库中检索解决复杂推理问题的关键支持性见解。
2)MCTS算法与主动检索机制：采用MCTS算法结合主动检索机制，自动生成步骤级注释，动态检索每个推理步骤的关键见解，超越传统的束搜索采样，以提高推理空间的多样性和可靠性。
3)过程奖励模型：引入了一个过程奖励模型，通过逐步对齐来支持多模态推理任务的自动验证。
论文实验:
AR-MCTS在各种MLLMs和推理验证策略上显著提高了多模态推理性能。特别是，与自我修正策略相比，AR-MCTS在MATHVISTA和WE-MATH基准测试上显示出更明显的优势。
自我修正策略在两个推理基准测试中表现不佳，尤其是在参数较少的开源MLLMs上，性能下降更为显著。
在WE-MATH基准测试中，AR-MCTS结合PRM在S3指标上显示出比ORM更大的性能提升，这表明PRM在多步推理任务中能更好地对齐。
与较强的模型相比，较弱的MLLMs（如Qwen2-VL-7B）在使用AR-MCTS后显示出显著的性能提升，这表明AR-MCTS能够更有效地释放较弱MLLMs的推理潜力。