插件
comfyui_controlnet_aux
提供加载预处理器节点
https://github.com/Fannovel16/comfyui_controlnet_aux
预处理器
预处理器说明，官方文档
https://github.com/Fannovel16/comfyui_controlnet_aux?tab=readme-ov-file
- dwpose 检测全身
body_pose_model.pth、facenet.pth、hand_pose_model.pth（检测身体部位）放在以下目录
E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\lllyasviel\Annotators\
yolox_l.onnx（生成脸部遮罩）放在以下目录
E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\yzd-v\DWPose\
dw-ll_ucoco_384_bs5.torchscript.pt(姿势预估器)放在以下目录
E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\hr16\DWPose-TorchScript-BatchSize5\
- depth anything v2
depth_anything_v2_vitl.pth（检测物品的空间位置）放在以下目录
E:\Comfyui\ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts\depth-anything\Depth-Anything-V2-Large\
controlnet模型
文档说明（controlnet模型的作用）
https://github.com/lllyasviel/ControlNet
- dwpose 检测全身
需要加载control_v11p_sd15_openpose.pth
- depth anything v2
需要加载control_v11f1p_sd15_depth.pth
- canny
需要加载control_v11p_sd15_canny.pth
全部controlnet模型统一放在以下目录，v11版本每个pth文件需要配一个同名yaml文件
E:\Comfyui\ComfyUI\models\controlnet
官方提供的模型跟预处理器之间的关系
| 模型名 | 用途 | 预处理器 | 备注 |
|---|---|---|---|
| 白底黑线反色 | invert | ||
| 面部控制 | mediapipi_face | ||
| 参考来源图片 | refrence_only | 仅参考输入图 | |
| refrence_adain | 输入图 + 自适应范例 | ||
| refrence_adain+attn | 输入图 + 自适应范例 + attention | ||
| 1.control_v11p_sd15_canny | 边缘检测 | canny | 将图片轮廓描绘得好 |
| 2.control_v11f1p_sd15_depth | 深度检测 | depth_leres | 对空间描述把握得好 |
| depth_midas | |||
| depth_zoe | |||
| 3.control_v11p_sd15s2_lineart_anime | 动漫线稿控制 | lineart_anime | |
| lineart_anime_denoise | 带去噪 | ||
| 4.control_v11p_sd15_lineart | 线稿控制 | lineart_coarse | 粗略线提取 |
| lineart_realistic | 写实线提取 | ||
| lineart_standard | 标准 | ||
| 5.control_v11p_sd15_mlsd | 直线检测 | mlsd | 直线检查，适用于建筑，室内装修图 |
| 6.control_v11p_sd15_normalbae | 法线贴图 | normal_bae | |
| normal_midas | |||
| 7.control_v11p_sd15_openpose | 姿态控制 | openPose | 仅姿态 |
| openpose_face | 姿态 + 脸部 | ||
| openpose_faceonly | 仅脸部 | ||
| openpose_full | 姿态、手部及脸部 | ||
| openpose_hand | 姿态 + 手部 | ||
| 8.control_v11p_sd15_scribble | 涂鸦 | scribble_hed | 合成 |
| scribble_pidinet | 手绘 | ||
| scribble_xdog | 强化边缘 | ||
| 9.control_v11p_sd15_seg | 语义分割 | seg_ofade20k | |
| seg_ofcoco | |||
| seg_ufade20k | |||
| 10.control_v11e_sd15_shuffle | 风格洗牌转移 | shuffle | |
| 11.control_v11p_sd15_softedge | 软边缘 | softedge_hed | |
| softedge_hedsafe | |||
| softedge_pidinet | |||
| softedge_pidisafe | |||
| 12.control_v11e_sd15_ip2p | 图生图 | 预处理器选 None | |
| 13.control_v11f1e_sd15_tile | 分块采样 | ||
| 14.control_v11p_sd15_inpaint | controlnet 自带的局部重绘 | inpaint_global_harmonious |
工作流和网盘资源
我用夸克网盘分享了「ComfyUI教程」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。
链接：https://pan.quark.cn/s/274b451a3072
视频讲解
b站视频
https://www.bilibili.com/video/BV1QH2AYEEF9/?spm_id_from=333.1007.0.0