SCAIL-2:动作迁移与角色替换的开源天花板,能转绘分钟级的跳舞、打戏和剧情名场面
黎黎原上咩
0:00 / 0:00
SCAIL-2:动作迁移与角色替换的开源天花板,能转绘分钟级的跳舞、打戏和剧情名场面
5 995 просмотров · 2 месяца назад
黎黎原上咩
19,6 тыс. подписчиков
5 995 просмотров · 2 месяца назад
动作迁移和角色替换,一直是 AIGC 视频生成里最受欢迎的场景。毕竟谁不想用不同的角色,跳最近流行的手势舞、模仿经典电影片段,甚至来一段打戏呢?Scail-2 就是目前这个领域最强的开源解决方案。我最近在本地 ComfyUI 中进行了很多测试。即使只使用最基础的工作流,也能得到很不错的效果。如果调整流程并搭配循环来实现视频延长,一口气跑完几分钟的视频都不费劲,而且没有硬切的突兀感。在今天的视频里,一开始是模型的下载和环境准备。然后会以最简单的工作流为基础,讲解细节,并最终使用一个循环工作流完成分钟级转绘。当然也少不了参数介绍、动作迁移与角色替换的效果对比,还有单人、多人等不同场景的演示,以及实用第三方插件的推荐。
它无疑取代了 WanAnimate,成为了目前动作迁移和角色替换的开源解决方案天花板。其中动作迁移接近于闭源商业模型的水平,利用循环可以转绘分钟级的内容,我在本地的 16G 显存环境中,预留了 8G 来模拟低显存(尽力了),同样能轻松跑完长视频(512x896@393帧)。缺点是多轮循环之后,劣化无法避免,一致性偏移总会出现,尤其是纯白背景时特别容易出乱纹。而且由于是在 Wan 系列模型基础上开发,所以运行速度慢,显存要求不够低,不能直出 1080P 以上的视频。
插件:
MieNodes: https://github.com/MieMieeeee/ComfyUI...
KJNodes: https://github.com/kijai/ComfyUI-KJNodes
模型: https://huggingface.co/Comfy-Org/SCAI...
模型库(夸克):https://pan.quark.cn/s/3be6eb0d7f65
工作流(夸克):https://pan.quark.cn/s/59bafd8bf39d
工作流(GoogleDriver):https://drive.google.com/drive/folder...
提示词指令:https://dcn8q5lcfe3s.feishu.cn/wiki/J...
00:00 效果展示写模型介绍
02:22 模型下载
04:35 环境准备及基础操作演示
07:44 动作迁移详解
20:44 角色替换详解
25:09 循环工作流
28:02 颜色迁移及第三方插件
29:23 模型总结