黑龙江省政府采购网_ui设计是做什么工作_网站推广属于哪些_潍坊今日头条新闻

1. IN-CONTEXT LORA FOR DIFFUSION TRANSFORMERS

论文地址

解决的问题

如何低成本快速实现组图的生成

核心原理

利用基础模型的生成能力，使用lora+sdedit（inpainting）实现组图的生成，并保证组图间内容的关联和连续性。仅通过lora激活和加强基础模型生成组图能力，并设计构建prompt实现组图的输出

prompt的构建
prompt构建方式：整个组图描述+每张图的具体描述，用[IMAGE*]来标识每张图片的起始描述，用<*>来定义任务，以保持组图内人物id的连续性

SDEdit
无参考图时直接文生图生成大图，然后切分成需要的小图；
有参考图时采用SDEdit方案（inpainting），输入含参考图的大图，剩余部分mask掉，让模型去生成：