近日,由北大、腾讯AI Lab联合推出的 AI 视频生成工具 DynamiCrafter 一经上线便引起了巨大反响。只需要输入一张普普通通的静态图,加上几句简单的文字引导,瞬间就能生成超逼真的动态视频,简直不要太厉害!
静态图 + fireworks display = 过程动态图
上篇教程小贝已经带大家体验了一把 DynamiCrafter 的 WebUI 版使用方法,该方法简单易用,小白也能分分钟上手,但想要更细致地调整局部细节,WebUI 就有点局限了。
今天小贝给大家带来了 DynamiCrafter 的 ComfyUI 版使用方法,ComfyUI 基于节点式的界面和工作流,用户可以通过改变节点随心所欲地实现不同功能,能够更精细化地控制整个流程,赋予用户更高的自由度和创作空间,实现个性化定制!
但 ComfyUI DynamiCrafter 的使用门槛较高,配置过程也很复杂,用户在使用过程中还容易出现节点连接错误、内存不足、算力限制等一系列难题。
为了解决上述问题,OpenBayes平台上线了「ComfyUI DynamiCrafter 图生视频工作流」教程。该教程帮助大家提前下载模型,为用户搭建好了工作流,一键即可使用,再也不用担心节点连接错误啦!
公共教程:
https://go.openbayes.com/pyGm1
操作步骤
PART 1
Demo 运行阶段
1. 登录http://OpenBayes.com,在「公共教程」页面,选择「ComfyUI DynamiCrafter 图生视频工作流」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
3. 点击右下角「下一步:选择算力」。
4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!
小贝总专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/signup?r=GraceXiii_W8qO
5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。
若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
6. 该教程包含两个工作流,下面将逐一为大家演示:
通过图片和文本提示生成视频;
通过起始帧、结束帧和提示词生成视频。
PART 2
通过图片和文本提示生成视频
1. 新建一个终端,运行「 apt-get update && apt-get install libgl1 -y --fix-missing」命令。
2. 运行「./run.sh」命令,稍等片刻,当命令行出现「https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中打开 Gradio 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
3. 打开 ComfyUI 界面后,点击「Switch Locale」将语言切换成中文,随后点击「加载默认」加载图生视频工作流。
4. 上传一张图片,在文本框输入 Prompt 后(例如:a dog is driving car),点击「添加提示词队列」即可生成视频。
5. 小狗已经会开车啦。
PART 3
通过起始帧、结束帧和提示词生成视频
1. 点击「加载」右侧的下拉箭头,选择「图到图生视频工作流」。
2. 切换工作流后,上传一张起始帧图片、一张结束图片以及 Prompt(例如:a man is walking towards a tree),点击「添加提示词队列」,即可生成视频。
新用户福利
注册福利:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
小贝总专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/s