您的位置:首页 > 汽车 > 新车 > 国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)

国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)

2024/12/21 22:55:54 来源:https://blog.csdn.net/u011886447/article/details/142262251  浏览:    关键词:国内大厂这款「一站式」AI视频创作平台,一键将剧本生成视频!实测体验(附内测申请)

大家好,我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也一名 AIGC 爱好者,持续分享更多前沿的「AI 工具」和「AI副业玩法」,欢迎一起交流~

AI 现在已经可以一键创作剧本、生成分镜图了?

图片

今天介绍的这个一站式 AI 视频创作平台厉害了!

它可以自动将剧本拆分成分镜图,并转化成视频。还将多种视频编辑模式全部集合在了一个平台里!

视频编辑模式包含角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合。

是的,这个 AI 视频创作平台就是阿里达摩院的寻光。

图片

在 7 月结束的上海世界人工智能大会(WAIC)上,阿里达摩院发布了这个一站式 AI 视频创作平台 「寻光」。

当时提交了寻光的内测申请,前几天通过了,今天试用了,写一下内测体验。

一起来看看吧~

一、生成故事板

点「开始创作」-「AI 短片创作」:

图片

这里需要填入剧本。不会写剧本怎么办?可以借助 Kimi 等 AI 工具,生成剧本。

下面用 Kimi 简单做个示范:

图片

将生成好的剧本直接复制粘贴到下面方框中,随意取一个名字,比如就叫「深海巨怪」,然后点「生成故事板」。

图片

寻光会根据剧本,生成故事板,即:分镜描述 + 分镜画面

接下来依次确认生成的每个分镜画面。

在这里插入图片描述

如果对生成的结果不满意,可以点「取消」,取消后可以上传自己的本地素材

图片

二、视频生成

接下来就是将生成的一个个静态分镜画面,生成视频。

视频生成有两种方式:图生视频运镜控制

图片

选择这两种任何一种方式生成视频,都可以。目前视频最大时长是 4 秒。

图片

生成的视频,也需要确认:

图片

三、视频编辑

静态分镜画面转化成视频后,可以对视频进行编辑。

寻光支持多种视频编辑模式,比如:

角色换脸、目标新增、目标消除、目标编辑、风格变换、超分辨率、帧率控制、图层拆解、图层融合

图片

角色换脸

需要先在角色库中,新建角色,然后从角色库里选择角色换脸即可。

图片

目标新增

图片

框选出区域,在提示词中写上希望新增的物体,比如「水母」。

在新的视频中,就出现了一只游动的水母,如下图:

图片

目标删除

图片

选择要删除的目标,选择模型,目标就删除了。

下面是两种不同模型的区别:

运动目标消除模型:模型会基于帧间信息补充目标消除后的背景,适用于目标背景变化大的视频,处理速度快。

稳定目标消除模型:模型会自动“脑补”目标消除后的背景,适用于目标背景稳定的视频,处理速度相对较慢。

目标编辑

图片

框选出想编辑的目标,在提示词中输入期望目标描述。

比如想将之前生成的水母,变成粉色,输入「粉色水母」,视频中的水母,就变成了粉色。

图片

风格变换

图片

目前内测期间,只支持三种风格的变换:梵高画、莫奈画、水彩画。

后续应该会上更多风格。下图是转换成了「梵高画」风格的视频:

图片

超分辨率

目前最高支持到 2k。

图片

帧率控制

图片

图层拆解 / 图层融合

图层拆解和图层融合,这俩一起说吧。

其实就是将视频中的某个目标拆解出来,生成背景透明的视频,方便将其融合到其他的视频画面中。

这个功能,在目前的视频创作中,需求还是挺大的。

试了下寻光的这个功能,融合得还是蛮好的,超出预期。

图片

选择目标,下图是将水母单独拆解出来了。

图片

选择另一个视频,点「图层融合」,从素材库中选择之前拆解出来的图层,这样水母就添加到新的视频中了。

图片

图片

四、多场景

寻光可以创建多个场景,每个场景下,都可以创建多个分镜。

场景间和分镜间,是可以通过拖动,来调整顺序的。

五、导出下载

在确认各个场景下的分镜视频没有问题后,就可以导出作品了。

导出后的作品,在我的作品里查看,也可以下载。

图片

ps:目前生成的视频,是没有背景音乐、配音、字幕的,这些是需要自己用剪映等工具后期添加的。

后续是否会增加呢,期待一下。

六、问题

整体使用下来,体验还是不错的。不过用的过程中,也发现一些问题。

1、视频生成的效果有待提高

在这里插入图片描述

比如上图,想达到摆动胡须的效果,不管是用「图生视频」还是「运镜控制」,都没有达不到效果。

再比如有人像的分镜画面,在使用「运镜控制」生成视频时,人脸会有扭曲变形的情况。

2、分镜描述遮挡

在让用户确认分镜图生成结果时,「分镜描述」是显示不全的。所以用户可能并不能很好地判断,生成的画面,是否符合预期。

图片

七、结束语

寻光全新的 AI 视频工作流,大大提高了视频创作的效率,可以说是视频创作者的福音!

当然寻光还在内测,期待后续寻光可以有更好的表现。

寻光官网(内测申请):

https://xunguang.damo-vision.com/


AI&副业资料获取

微信搜【X小鹿AI副业】或微信扫下方二维码,关注后资料【资料】,获取最新资料(不定期更新)

在这里插入图片描述
还有一个知识星球,记录成长,每天分享各类 AI 资讯、 AI 工具、AI 副业玩法、自由职业等,欢迎加入(粉丝永久免费)~

在这里插入图片描述

我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也是一名 AIGC 爱好者,欢迎一起交流~

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com