VCoder: Versatile Vision Encoders for Multimodal Large Language Models
➡️ 论文标题：VCoder: Versatile Vision Encoders for Multimodal Large Language Models
➡️ 论文作者：Jitesh Jain, Jianwei Yang, Humphrey Shi
➡️ 研究机构: SHI Labs @ Georgia Tech、Microsoft Research、Picsart AI Research (PAIR)
➡️ 问题背景：多模态大语言模型（Multimodal Large Language Models, MLLMs）在视觉-语言任务中表现出色，如视觉问答、图像描述、视觉推理和图像生成。然而，这些模型在简单的视觉感知任务上表现不佳，例如识别和计数图像中的对象。具体来说，现有的MLLMs在计数任务中经常出错，甚至会出现幻觉，即模型会错误地识别出图像中不存在的对象。
➡️ 研究动机：为了提高MLLMs在基本的物体级感知任务上的表现，特别是计数任务，研究团队提出了一种新的方法，通过引入额外的感知控制输入（如分割图和深度图）来增强模型的感知能力。此外，研究团队还构建了一个新的数据集COCO Segmentation Text (COST)，用于训练和评估MLLMs在物体识别、计数和顺序预测任务上的表现。
➡️ 方法简介：研究团队提出了一个名为VCoder的系统，通过将额外的感知模态（如分割图和深度图）作为控制输入，增强MLLMs的感知能力。VCoder通过一个预训练的ViT（来自CLIP）和一个两层的MLP将控制输入投影到语言模型的嵌入空间。此外，研究团队还引入了新的评估指标，包括计数得分（CS）和幻觉得分（HS），以量化MLLMs在物体识别任务上的表现。
➡️ 实验设计：研究团队在COCO数据集上进行了实验，构建了COST数据集，包括图像、分割图、深度图和相应的问答对。实验设计了不同的任务，如语义分割、实例分割、全景分割和物体顺序感知，以全面评估VCoder增强的MLLMs在不同任务上的表现。实验结果表明，VCoder增强的MLLMs在所有评估指标上均优于基线模型。
VIEScore: Towards Explainable Metrics for Conditional Image Synthesis Evaluation
➡️ 论文标题：VIEScore: Towards Explainable Metrics for Conditional Image Synthesis Evaluation
➡️ 论文作者：Max Ku, Dongfu Jiang, Cong Wei, Xiang Yue, Wenhu Chen
➡️ 研究机构: University of Waterloo、IN.AI Research
➡️ 问题背景：在条件图像生成领域，评估模型性能和能力的有效性面临的主要挑战之一是缺乏可解释性。现有的评估指标如LPIPS、CLIP-Score等虽然在某些方面表现良好，但它们通常与最终任务无关，且评分不透明，难以解释。此外，依赖人工评估的方法虽然有效，但存在可扩展性和主观性问题。
➡️ 研究动机：为了克服现有评估方法的局限性，研究团队提出了VIESCORE，这是一种基于多模态大语言模型（MLLMs）的可解释性评估指标，旨在评估任何条件图像生成任务。VIESCORE不仅提供评分，还提供评分背后的自然语言解释，从而提高评估的透明度和可信度。
➡️ 方法简介：VIESCORE利用MLLMs（如GPT-4）作为核心，无需训练或微调。该方法通过输入指令、合成图像和条件集（如风格、主题、背景等），生成中间解释和最终评分。VIESCORE在七个条件图像生成任务中进行了评估，结果显示其在多个任务中与人类评估的Spearman相关性高达0.4，接近人类之间的相关性0.45。
➡️ 实验设计：研究团队在七个条件图像生成任务中评估了VIESCORE，包括文本到图像生成、掩码引导图像编辑和文本引导图像编辑等。实验设计了不同的任务条件和评估指标，以全面评估VIESCORE的性能。结果显示，VIESCORE在生成任务中的表现与人类评估相当，但在编辑任务中表现较弱。此外，GPT-4o和GPT-4v在评估合成图像方面表现出色，而开源MLLMs如LLaVA和Qwen-VL则表现较弱。
Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases
➡️ 论文标题：Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases
➡️ 论文作者：Zhangyang Qi, Ye Fang, Mengchen Zhang, Zeyi Sun, Tong Wu, Ziwei Liu, Dahua Lin, Jiaqi Wang, Hengshuang Zhao
➡️ 研究机构: The University of Hong Kong、Fudan University、Zhejiang University、Shanghai Jiao Tong University、The Chinese University of Hong Kong、Nanyang Technological University、Shanghai AI Laboratory
➡️ 问题背景：多模态大语言模型（MLLMs）的快速发展，特别是在文本和图像处理的集成方面，标志着人工智能领域的重要进步。当前，MLLMs主要分为闭源模型和开源模型两大类。其中，OpenAI的GPT-4V和Google的Gemini是当前最先进的模型，分别在通用性和特定任务处理上表现出色。然而，Gemini的出现对GPT-4V的领先地位构成了挑战，特别是在多模态理解和应用方面。
➡️ 研究动机：为了全面评估和比较GPT-4V和Gemini在多模态任务中的表现，研究团队从多个维度和领域进行了深入分析。研究不仅关注模型的基本识别能力，还深入探讨了它们在推理、理解以及特定行业应用中的表现。此外，研究还探讨了如何结合这两种模型的优势，以实现更好的性能。
➡️ 方法简介：研究团队设计了一系列结构化的实验，涵盖了图像识别与理解、图像中的文本识别与理解、图像推理能力、图像中的文本推理能力、图像与文本的综合理解等多个方面。每个方面都包括了多个具体任务，如地标识别、食物识别、逻辑推理、数学问题解决等。此外，研究还评估了模型在对象定位、时间理解、多语言能力等特定任务中的表现。
➡️ 实验设计：实验在多个公开数据集上进行，包括图像识别、文本识别、图像推理、文本推理、综合理解等多个任务。实验设计了不同的输入模式、提示技术，并结合了实际应用场景，以全面评估模型的性能。研究团队还尝试了结合GPT-4V和Gemini的优势，以实现更好的结果。
Q-Boost: On Visual Quality Assessment Ability of Low-level Multi-Modality Foundation Models
➡️ 论文标题：Q-Boost: On Visual Quality Assessment Ability of Low-level Multi-Modality Foundation Models
➡️ 论文作者：Zicheng Zhang, Haoning Wu, Zhongpeng Ji, Chunyi Li, Erli Zhang, Wei Sun, Xiaohong Liu, Xiongkuo Min, Fengyu Sun, Shangling Jui, Weisi Lin, Guangtao Zhai
➡️ 研究机构: Shanghai Jiaotong University, S-Lab, Nanyang Technological University, Huawei
➡️ 问题背景：多模态大语言模型（MLLMs）在复杂的高级视觉任务中展现了显著的能力。然而，这些模型在低级视觉任务中的应用，特别是图像质量评估（IQA）和视频质量评估（VQA）方面，研究相对有限。传统的质量评估方法依赖于手工提取的特征和深度学习模型，但这些方法在解释性和灵活性方面存在局限。
➡️ 研究动机：为了填补这一研究空白，研究团队提出了Q-Boost策略，旨在增强MLLMs在IQA和VQA任务中的表现。Q-Boost通过引入三调整合（Triadic-Tone Integration, TTI）和多提示集成（Multi-Prompt Ensemble, MPE）两种策略，提高了模型的评估准确性和可靠性。
➡️ 方法简介：Q-Boost策略包括两个核心组件：
- 三调整合（TTI）：传统的提示设计通常在正面和负面之间波动，忽略了中等质量的图像。TTI通过引入中性提示（如“平均”、“中等”、“可接受”）来提供更平衡和全面的评估。
- 多提示集成（MPE）：使用多个质量中心的提示来减少偏差，获取更准确的评估结果。MPE通过扩展语义范围和减少歧义，提高了评估的可靠性和准确性。
➡️ 实验设计：研究团队在三个图像质量评估（IQA）数据集和四个视频质量评估（VQA）数据集上进行了实验。实验设计了不同的提示词组合（如正面、中性和负面提示词）和多提示集成策略，以全面评估模型在不同条件下的表现。实验结果表明，Q-Boost策略显著提升了MLLMs在IQA和VQA任务中的零样本性能。
ChartBench: A Benchmark for Complex Visual Reasoning in Charts
➡️ 论文标题：ChartBench: A Benchmark for Complex Visual Reasoning in Charts
➡️ 论文作者：Zhengzhuo Xu, Sinan Du, Yiyan Qi, Chengjin Xu, Chun Yuan, Jian Guo
➡️ 研究机构: International Digital Economy Academy (IDEA)、深圳国际研究生院（清华大学）、香港科技大学（广州）
➡️ 问题背景：多模态大语言模型（Multimodal Large Language Models, MLLMs）在图像理解和生成方面展现了卓越的能力。然而，现有的基准测试未能准确评估MLLMs对图表的理解能力，主要因为图表类型有限和评估指标不恰当。为了应对这一挑战，研究团队提出了ChartBench，一个全面的基准测试，旨在通过复杂的视觉推理评估图表理解能力和数据可靠性。
➡️ 研究动机：当前的MLLMs在处理嵌入图表的文章时面临挑战，尤其是在理解复杂图表和无数据点注释的图表方面。为了更准确地评估MLLMs的图表理解能力，研究团队设计了ChartBench，以涵盖更广泛的图表类型，并引入了新的评估指标和方法，旨在提高模型在图表理解任务中的表现。
➡️ 方法简介：研究团队构建了ChartBench，包含42类图表、66.6k个图表和600k个问题-答案对。ChartBench特别强调无数据点注释的图表，要求MLLMs通过图表的视觉元素（如颜色、图例和坐标系）来推断正确答案。此外，研究团队还设计了增强的评估指标Acc+，以减少随机猜测，并提出了基于链式思维（Chain of Thought, CoT）和监督微调（Supervised Fine-tuning, SFT）的两个基线模型，以提高MLLMs在无注释图表上的表现。
➡️ 实验设计：研究团队在18个开源和3个专有MLLMs上进行了广泛的实验，评估了这些模型在5个图表理解任务上的表现。实验设计了多种图表类型和任务，包括图表类型识别、数值提取、数值比较、全局概念理解和数值问答。实验结果揭示了现有MLLMs在图表理解方面的不足，特别是在处理无数据点注释的图表时。通过引入ChartBench和新的评估方法，研究团队为未来的模型优化提供了有价值的见解和方向。