Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs
➡️ 论文标题：Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs
➡️ 论文作者：Ling Yang, Zhaochen Yu, Chenlin Meng, Minkai Xu, Stefano Ermon, Bin Cui
➡️ 研究机构: Peking University, Stanford University, Pika Labs
➡️ 问题背景：尽管扩散模型在文本到图像生成和编辑任务中表现出色，但它们在处理涉及多个对象、属性和关系的复杂文本提示时仍面临挑战。现有方法通常通过引入额外的布局/框作为条件或利用提示感知注意力引导来改善组合文本到图像的合成，但这些方法在处理重叠对象时仍存在局限性。
➡️ 研究动机：为了克服现有方法的局限性，研究团队提出了一种新的训练免费文本到图像生成框架——重述、规划和生成（RPG），利用多模态大语言模型（MLLMs）的强大推理能力，增强扩散模型的组合性和可控性。
➡️ 方法简介：RPG框架包括三个核心策略：多模态重述、链式思维规划和互补区域扩散。多模态重述通过将文本提示分解为更详细的子提示，提高提示理解的准确性和生成图像的语义对齐。链式思维规划将图像空间划分为互补子区域，并为每个子区域分配不同的子提示，将复杂的生成任务分解为多个简单的子任务。互补区域扩散则在指定的矩形子区域内独立生成图像内容，并通过调整和拼接的方式合并这些内容，有效解决重叠区域的冲突问题。
➡️ 实验设计：研究团队在多个公开数据集上进行了实验，包括文本到图像生成和编辑任务。实验设计了不同的条件（如姿态、深度和边缘检测）和编辑任务，以全面评估RPG框架在不同条件下的表现。实验结果表明，RPG框架在多类别对象组合和文本-图像语义对齐方面显著优于现有的最先进模型，如DALL-E 3和SDXL。
The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models
➡️ 论文标题：The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models
➡️ 论文作者：Kian Ahrabian, Zhivar Sourati, Kexuan Sun, Jiarui Zhang, Yifan Jiang, Fred Morstatter, Jay Pujara
➡️ 研究机构: University of Southern California (Information Sciences Institute)
➡️ 问题背景：多模态大型语言模型（MLLMs）集成了语言和视觉信息，为展示更复杂的推理能力提供了新的可能性。然而，对于这些模型在非语言抽象推理任务中的表现，目前的理解仍然有限。本研究通过使用Raven’s Progressive Matrices的变体，评估了开源和闭源MLLMs的非语言抽象推理能力。
➡️ 研究动机：尽管MLLMs在多模态任务中展现出巨大潜力，但其在非语言抽象推理任务中的表现仍存在显著挑战。研究旨在评估这些模型在非语言抽象推理任务中的能力，揭示其在视觉和文本感知方面的关键不足，并探索提高模型性能的方法。
➡️ 方法简介：研究团队构建了三个数据集（IQ50、RAVEN-S和CCSE），并使用这些数据集评估了24个开源和闭源MLLMs的非语言抽象推理能力。此外，研究还评估了模型在半隔离环境下的文本和视觉能力，以及零样本和少样本学习能力。
➡️ 实验设计：实验设计包括自动评分和手动评分两个部分。自动评分部分通过模式匹配方法评估模型的预测结果；手动评分部分则由研究生团队对模型生成的推理过程进行详细检查。实验还探讨了引导提示和上下文学习对模型性能的影响，特别是通过提供纠正性提示和示范样例来提高模型的推理能力。
MLLMReID: Multimodal Large Language Model-based Person Re-identification
➡️ 论文标题：MLLMReID: Multimodal Large Language Model-based Person Re-identification
➡️ 论文作者：Shan Yang, Yongfei Zhang
➡️ 研究机构: 北京航空航天大学数字媒体北京重点实验室、北京航空航天大学虚拟现实技术与系统国家重点实验室
➡️ 问题背景：多模态大语言模型（MLLM）在许多任务中取得了令人满意的结果，但在行人重识别（ReID）任务中的表现尚未被探索。ReID任务涉及跨摄像头的目标人物关联，而MLLM在这一任务中的应用面临两个主要挑战：1) 指令设计可能导致模型过拟合；2) 视觉编码器与ReID任务的训练不同步。
➡️ 研究动机：为了克服上述挑战，研究团队提出了一种基于MLLM的行人重识别方法（MLLMReID），旨在通过引入通用指令和多任务学习同步模块，提高模型在ReID任务中的性能和泛化能力。
➡️ 方法简介：研究团队提出了两个关键创新点：1) 通用指令（Common Instruction），通过利用大语言模型的自然续写能力，避免了复杂和多样指令设计的高成本；2) 多任务学习同步模块（SyncReID），确保MLLM的视觉编码器与ReID任务同步训练，从而更有效地利用视觉特征。
➡️ 实验设计：研究团队在四个公开数据集（Market1501、DukeMTMC-ReID、MSMT17和CUHK03）上进行了实验，评估了MLLMReID在ReID任务中的性能。实验结果表明，该方法在大规模数据集MSMT17上取得了显著的性能提升，特别是在mAP和Rank-1指标上。
➡️ 实验结果：实验结果显示，MLLMReID在MSMT17数据集上的mAP和Rank-1指标分别比基线方法提高了4.0%和0.9%。与现有的最先进方法相比，MLLMReID在mAP指标上也表现出显著的优势，验证了该方法的有效性和泛化能力。
UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion
➡️ 论文标题：UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion
➡️ 论文作者：Wei Li, Xue Xu, Jiachen Liu, Xinyan Xiao
➡️ 研究机构: Baidu Inc.
➡️ 问题背景：现有的文本到图像扩散模型主要从文本提示生成图像，但文本描述的简洁性使得生成包含复杂细节、特定实体或细腻场景的图像面临挑战。因此，需要一种能够处理多模态输入的框架，以提高图像生成的可控性和准确性。
➡️ 研究动机：为了克服文本描述的局限性，研究团队提出了一种多模态条件扩散框架UNIMO-G，该框架能够处理交织的文本和视觉输入，从而在文本驱动和主体驱动的图像生成任务中表现出色。
➡️ 方法简介：UNIMO-G由两个核心组件组成：多模态大语言模型（MLLM）用于编码多模态提示，以及条件去噪扩散网络用于生成图像。研究团队采用两阶段训练策略：首先在大规模文本-图像对上进行预训练，以发展条件图像生成能力；然后通过多模态提示进行指令调优，以实现多模态图像生成的统一能力。此外，研究团队设计了一种数据处理管道，包括语言接地和图像分割，以构建多模态提示。
➡️ 实验设计：实验在MS-COCO和DreamBench数据集上进行，评估了UNIMO-G在文本到图像生成和主体驱动生成任务中的性能。为了进一步评估多实体主体驱动生成的能力，研究团队还引入了Multi-Bench，这是一个包含多个对象的新基准。实验结果表明，UNIMO-G在单实体和多实体主体驱动生成任务中均表现出色，特别是在多模态指令跟随方面。
CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning
➡️ 论文标题：CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning
➡️ 论文作者：Zheqi He, Xinya Wu, Pengfei Zhou, Richeng Xuan, Guang Liu, Xi Yang, Qiannan Zhu, Hua Huang
➡️ 研究机构: 北京人工智能研究院、北京邮电大学、北京师范大学
➡️ 问题背景：多模态大语言模型（MLLMs）在多模态理解和推理方面取得了显著进展，但其在特定领域知识的掌握上仍面临挑战。当前的多模态基准测试主要集中在多项选择题上，且多为英文，这限制了评估的全面性。
➡️ 研究动机：为了更全面地评估MLLMs在特定领域知识上的理解和推理能力，研究团队提出了CMMU，这是一个新的中文多模态多类型问题理解和推理基准。CMMU包含3,603个问题，覆盖了从小学到高中的7个学科，问题类型包括多项选择题、多项回答题和填空题。
➡️ 方法简介：CMMU不仅提供了正确答案，还提供了多项选择题和多项回答题的答案解释。为了减少位置偏差，研究团队提出了Positional Error Variance方法，通过循环改变选项位置来评估模型的正确性和位置偏差。
➡️ 实验设计：研究团队在CMMU基准上评估了11个模型，包括GPT-4V、Gemini-Pro、Qwen-VL-Plus等。实验设计了不同难度和类型的题目，以全面评估模型在多模态理解和推理方面的能力。