大家好,我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也一名 AIGC 爱好者,持续分享更多前沿的「AI 工具」和「AI副业玩法」,欢迎一起交流~
AI 现在已经可以一键创作剧本、生成分镜图了?
今天介绍的这个一站式 AI 视频创作平台厉害了!
它可以自动将剧本拆分成分镜图,并转化成视频。还将多种视频编辑模式全部集合在了一个平台里!
视频编辑模式包含角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合。
是的,这个 AI 视频创作平台就是阿里达摩院的寻光。
在 7 月结束的上海世界人工智能大会(WAIC)上,阿里达摩院发布了这个一站式 AI 视频创作平台 「寻光」。
当时提交了寻光的内测申请,前几天通过了,今天试用了,写一下内测体验。
一起来看看吧~
一、生成故事板
点「开始创作」-「AI 短片创作」:
这里需要填入剧本。不会写剧本怎么办?可以借助 Kimi 等 AI 工具,生成剧本。
下面用 Kimi 简单做个示范:
将生成好的剧本直接复制粘贴到下面方框中,随意取一个名字,比如就叫「深海巨怪」,然后点「生成故事板」。
寻光会根据剧本,生成故事板,即:分镜描述 + 分镜画面。
接下来依次确认生成的每个分镜画面。
如果对生成的结果不满意,可以点「取消」,取消后可以上传自己的本地素材。
二、视频生成
接下来就是将生成的一个个静态分镜画面,生成视频。
视频生成有两种方式:图生视频和运镜控制。
选择这两种任何一种方式生成视频,都可以。目前视频最大时长是 4 秒。
生成的视频,也需要确认:
三、视频编辑
静态分镜画面转化成视频后,可以对视频进行编辑。
寻光支持多种视频编辑模式,比如:
角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合。
角色换脸
需要先在角色库中,新建角色,然后从角色库里选择角色换脸即可。
目标新增
框选出区域,在提示词中写上希望新增的物体,比如「水母」。
在新的视频中,就出现了一只游动的水母,如下图:
目标删除
选择要删除的目标,选择模型,目标就删除了。
下面是两种不同模型的区别:
运动目标消除模型:模型会基于帧间信息补充目标消除后的背景,适用于目标背景变化大的视频,处理速度快。
稳定目标消除模型:模型会自动“脑补”目标消除后的背景,适用于目标背景稳定的视频,处理速度相对较慢。
目标编辑
框选出想编辑的目标,在提示词中输入期望目标描述。
比如想将之前生成的水母,变成粉色,输入「粉色水母」,视频中的水母,就变成了粉色。
风格变换
目前内测期间,只支持三种风格的变换:梵高画、莫奈画、水彩画。
后续应该会上更多风格。下图是转换成了「梵高画」风格的视频:
超分辨率
目前最高支持到 2k。
帧率控制
图层拆解 / 图层融合
图层拆解和图层融合,这俩一起说吧。
其实就是将视频中的某个目标拆解出来,生成背景透明的视频,方便将其融合到其他的视频画面中。
这个功能,在目前的视频创作中,需求还是挺大的。
试了下寻光的这个功能,融合得还是蛮好的,超出预期。
选择目标,下图是将水母单独拆解出来了。
选择另一个视频,点「图层融合」,从素材库中选择之前拆解出来的图层,这样水母就添加到新的视频中了。
四、多场景
寻光可以创建多个场景,每个场景下,都可以创建多个分镜。
场景间和分镜间,是可以通过拖动,来调整顺序的。
五、导出下载
在确认各个场景下的分镜视频没有问题后,就可以导出作品了。
导出后的作品,在我的作品里查看,也可以下载。
ps:目前生成的视频,是没有背景音乐、配音、字幕的,这些是需要自己用剪映等工具后期添加的。
后续是否会增加呢,期待一下。
六、问题
整体使用下来,体验还是不错的。不过用的过程中,也发现一些问题。
1、视频生成的效果有待提高
比如上图,想达到摆动胡须的效果,不管是用「图生视频」还是「运镜控制」,都没有达不到效果。
再比如有人像的分镜画面,在使用「运镜控制」生成视频时,人脸会有扭曲变形的情况。
2、分镜描述遮挡
在让用户确认分镜图生成结果时,「分镜描述」是显示不全的。所以用户可能并不能很好地判断,生成的画面,是否符合预期。
七、结束语
寻光全新的 AI 视频工作流,大大提高了视频创作的效率,可以说是视频创作者的福音!
当然寻光还在内测,期待后续寻光可以有更好的表现。
寻光官网(内测申请):
https://xunguang.damo-vision.com/
AI&副业资料获取
微信搜【X小鹿AI副业】或微信扫下方二维码,关注后资料【资料】,获取最新资料(不定期更新)
还有一个知识星球,记录成长,每天分享各类 AI 资讯、 AI 工具、AI 副业玩法、自由职业等,欢迎加入(粉丝永久免费)~
我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也是一名 AIGC 爱好者,欢迎一起交流~