G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model
➡️ 论文标题：G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model
➡️ 论文作者：Jiahui Gao, Renjie Pi, Jipeng Zhang, Jiacheng Ye, Wanjun Zhong, Yufei Wang, Lanqing Hong, Jianhua Han, Hang Xu, Zhenguo Li, Lingpeng Kong
➡️ 研究机构: Huawei Noah’s Ark Lab、The University of Hong Kong、The Hong Kong University of Science and Technology
➡️ 问题背景：大型语言模型（LLMs）在人类级别的推理和生成能力方面表现出色，这促进了其在数学问题解决中的广泛应用。然而，当前的研究主要集中在文本形式的数学问题上，对于涉及几何信息的问题研究较少。现有的多模态大型语言模型（MLLMs）在理解和解决几何问题时存在显著困难，尤其是在准确理解几何图形的基本元素及其关系方面。
➡️ 研究动机：尽管最先进的MLLMs在理解日常视觉场景方面表现出色，但在理解和解决几何问题时却显得力不从心。研究团队旨在通过增强MLLMs对几何图形的理解能力，提高其解决几何问题的性能，从而填补这一研究空白。
➡️ 方法简介：研究团队提出了一种系统的方法，通过利用现有数据集和文本生成模型（如ChatGPT）生成高质量的几何视觉-文本数据，构建了一个名为Geo170K的多模态几何数据集。该数据集包含超过170K的几何图像-标题对和问题-答案对，显著扩展了几何问题的覆盖范围。基于此数据集，研究团队开发了G-LLaVA模型，该模型在解决几何问题方面表现出色，显著超越了现有的MLLMs。
➡️ 实验设计：研究团队在多个公开数据集上进行了实验，包括MathVista基准测试。实验设计了多种策略，如方程求解、数值缩放、条件重制定和句子改写，以生成多样化的几何问题-答案对，从而全面评估模型的泛化能力和解决几何问题的能力。实验结果表明，G-LLaVA在解决几何问题方面显著优于现有的MLLMs，尤其是在几何问题解决任务上，G-LLaVA-7B模型的表现甚至超过了强大的GPT-4V模型。
Tuning LayerNorm in Attention: Towards Efficient Multi-Modal LLM Finetuning
➡️ 论文标题：Tuning LayerNorm in Attention: Towards Efficient Multi-Modal LLM Finetuning
➡️ 论文作者：Bingchen Zhao, Haoqin Tu, Chen Wei, Jieru Mei, Cihang Xie
➡️ 研究机构: University of Edinburgh、University of Chinese Academy of Sciences、Johns Hopkins University、UC Santa Cruz
➡️ 问题背景：大型语言模型（LLMs）在多种应用场景中展现出巨大潜力，尤其是扩展到多模态处理领域。然而，这一过程通常面临巨大的计算挑战，尤其是在处理大规模模型时。尽管低秩适配器（LoRA）和软提示等技术提高了参数效率，但往往以牺牲多模态任务的性能为代价。这引发了如何提高这一过程效率的关键问题。
➡️ 研究动机：为了应对这一挑战，研究团队提出了一种简单而有效的多模态LLMs微调策略：在每个注意力块中仅调整LayerNorm的权重。这一策略基于将LLMs向多模态领域的转变视为领域适应过程的理解，即从文本理解转向多模态理解。调整归一化层在领域转移中被证明是一种特别有效的技术。实验证明，这一简单技术可以显著提高性能，同时大幅减少可训练参数和GPU内存使用。
➡️ 方法简介：研究团队通过在多个基准测试上对比不同微调方法（如全参数微调、LoRA、注意力块中的QV投影和MLP层激活）的性能，验证了仅调整LayerNorm的有效性。此外，研究还探讨了不同类型的微调数据（如对话数据、详细描述数据和复杂推理数据）对模型性能的影响，发现对话数据在提高多模态能力方面最为有效。
➡️ 实验设计：实验在多个公开数据集上进行，包括多模态评估基准MME、VQAv2、MSCOCO和Flickr30k。实验设计了不同的微调方法和数据类型，以全面评估模型在不同条件下的性能。结果表明，仅调整LayerNorm的策略在多个任务上显著优于其他方法，同时大幅减少了可训练参数和GPU内存使用。
A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise
➡️ 论文标题：A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise
➡️ 论文作者：Chaoyou Fu, Renrui Zhang, Zihan Wang, Yubo Huang, Zhengye Zhang, Longtian Qiu, Gaoxiang Ye, Yunhang Shen, Mengdan Zhang, Peixian Chen, Sirui Zhao, Shaohui Lin, Deqiang Jiang, Di Yin, Peng Gao, Ke Li, Hongsheng Li, Xing Sun
➡️ 研究机构: Tencent Youtu Lab、Shanghai AI Laboratory、CUHK MMLab、USTC、Peking University、ECNU
➡️ 问题背景：多模态大语言模型（MLLMs）如OpenAI的GPT-4V在视觉理解方面展现了强大的能力，能够处理多种多模态任务。然而，Google最近发布的Gemini作为新一代MLLM，其多模态能力在不同基准测试中表现出色，成为GPT-4V的有力挑战者。本研究旨在通过与GPT-4V和Sphinx的对比，探索Gemini的多模态理解能力。
➡️ 研究动机：尽管Gemini在多模态任务中表现出色，但其潜力尚未完全发掘。通过与当前最佳的MLLM（GPT-4V）和开源MLLM（Sphinx）进行对比，研究团队希望揭示Gemini在多模态理解方面的具体能力，评估其在不同任务中的表现，并探讨其与现有模型的差距。
➡️ 方法简介：研究团队收集了一系列定性样本，涵盖多模态理解的四个主要领域：基础感知、高级认知、挑战性视觉任务和专业能力。这些样本用于评估Gemini在不同任务中的表现，包括但不限于物体识别、场景理解、科学问题解决、情感理解等。此外，研究还采用了多种提示技术，如简单指令跟随、视觉引用提示、链式思维提示和上下文少样本学习，以全面评估模型的性能。
➡️ 实验设计：实验设计了多个任务，包括基础感知（如物体识别、场景理解）、高级认知（如文本丰富的视觉推理、抽象视觉推理）、挑战性视觉任务（如物体检测、视频动作识别）和专业能力（如医疗影像理解、缺陷检测）。每个任务都包含不同难度级别的样本，以全面评估模型的多模态理解和推理能力。此外，研究团队还在MME基准上进行了定量评估，以进一步验证Gemini的性能。
LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding
➡️ 论文标题：LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding
➡️ 论文作者：Senqiao Yang, Jiaming Liu, Ray Zhang, Mingjie Pan, Zoey Guo, Xiaoqi Li, Zehui Chen, Peng Gao, Yandong Guo, Shanghang Zhang
➡️ 研究机构: 北京大学、AI2Robotics、上海人工智能实验室
➡️ 问题背景：尽管大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在指令跟随和2D图像理解方面表现出色，但它们在理解和处理更具挑战性的3D物理场景，尤其是稀疏的户外LiDAR数据方面的能力尚待开发。理解3D场景对于自动驾驶和机器人技术等应用至关重要，因为3D数据包含了丰富的空间信息。
➡️ 研究动机：现有的3D理解方法在面对未见过的场景时，往往无法展示出足够的泛化能力，且在表达特定的下游任务（如生成场景描述和问答）时，难以以人类可理解的方式表达。因此，研究团队提出了LiDAR-LLM，旨在利用LLMs的推理能力，全面理解户外3D场景。
➡️ 方法简介：研究团队提出了LiDAR-LLM，该模型通过将3D LiDAR数据输入到LLMs中，重新定义了3D场景认知问题，将其转化为语言建模问题。为了克服3D LiDAR数据与文本配对数据稀缺的挑战，研究团队设计了三阶段训练策略，并生成了相关数据集，逐步将3D表示转移到文本特征空间。此外，研究团队还设计了View-Aware Transformer（VAT），以连接3D LiDAR编码器和LLMs，增强模型对视觉特征空间方向的理解。
➡️ 实验设计：研究团队在nuScenes、nuScenes-QA和自生成的数据集上进行了实验，评估了LiDAR-LLM在3D场景描述、3D定位和高级指令跟随等任务上的表现。实验结果表明，LiDAR-LLM在3D场景描述任务上达到了40.9 BLEU-1的得分，在3D定位任务上达到了63.1%的分类准确率和14.3%的BEV mIoU。
V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
➡️ 论文标题：V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
➡️ 论文作者：Penghao Wu, Saining Xie
➡️ 研究机构: UC San Diego, New York University
➡️ 问题背景：当前的多模态大语言模型（Multimodal Large Language Models, MLLMs）在处理复杂任务时，缺乏有效的视觉搜索机制，这限制了它们在处理高分辨率和视觉密集型图像时的性能。这种局限性导致模型在面对需要精确视觉定位的任务时，无法准确识别和定位关键对象，尤其是在处理高分辨率图像时。
➡️ 研究动机：为了克服现有MLLMs在视觉信息处理上的局限性，研究团队提出了一种新的框架SEAL（Show, SEArch, and TelL），该框架通过集成一个由大语言模型（LLM）引导的视觉搜索机制，增强了MLLMs在视觉密集型任务中的表现，特别是在处理高分辨率图像时。研究旨在通过引入视觉搜索机制，提高模型的视觉理解和推理能力。
➡️ 方法简介：SEAL框架由一个视觉问答（VQA）LLM和一个视觉搜索模型组成，两者通过视觉工作记忆（VWM）进行协作。VQA LLM首先评估是否需要进行视觉搜索，如果需要，它会列出所有缺失但必要的目标对象。然后，视觉搜索模型在图像中定位这些目标对象，并将裁剪的目标对象及其坐标添加到VWM中。最后，VQA LLM利用VWM中的数据生成最终的回答。
➡️ 实验设计：研究团队在多个任务上进行了实验，包括视觉问答（VQA）和图像到图像（I2I）任务。实验使用了高分辨率图像，评估了SEAL框架在不同场景下的表现，特别是在需要精确视觉定位的任务中。实验结果表明，SEAL框架能够显著提高模型在处理高分辨率图像时的准确性和鲁棒性。此外，研究团队还引入了一个新的基准测试V∗Bench，专门用于评估MLLMs在处理高分辨率图像时的视觉搜索能力。