摘要:阿里巴巴开源通义万相Wan2.1模型,支持文生视频、图生视频等多种功能,并整合关键环节简化创作流程。官方和Kiji版本需配套使用各自工作流。低显存显卡可使用GGUF模型解决方案,最低适配4G显存。ComfyUI已原生支持该模型,Kiji版本需额外插件。本文详细介绍模型下载与工作流应用基础知识,文中提供所用模型的国内网盘下载链接。
———————————————————————————————————————————
2025年5月,阿里巴巴正式开源通义万相Wan2.1-VACE模型,Wan2.1模型同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等多种生成和编辑能力,并且将生成与编辑的众多关键环节整合,极大地简化了创作流程,提升了创作效率。
万相2.1模型可以在comfyui上自由调用,同时支持文生视频、图生视频和视频生视频等功能,开源社区还有很多适配wan2.1的lora,视频生成的效果也越来越好。
1 原生节点与模型
1.1 插件安装
comfyui官方在通义万相模型发布后第二天即集成了对wan2.1模型的原生支持,无需额外插件,将comfyui内核更新至最新版本即可。
另外目前在各大平台常见的还有kiji发布的wan2.1模型与工作流,但是需要注意的是:Kijai版本的模型与ComfyUI官方版本不兼容,需要各自分开配合对应工作流才能使用。即使用comfyui原生节点,无需安装额外插件,使用wan2.1官方版本模型即可;使用kiji模型,需要使用对应的插件和节点(插件安装目录中提供有示例工作流)。
kiji模型适配万象2.1模型的插件是WanVideoWrapper
插件地址:https://github.com/kijai/ComfyUI-WanVideoWrapper
wanwideowrapper可以通过管理器直接进行安装。
1.2 模型下载:
(1)官方模型下载地址:
https://huggingface.co/Wan-AI/models
(2)kiji发布的模型地址:
标准版本:https://huggingface.co/Kijai/WanVideo_comfy/tree/main
fp8版本:https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled/tree/main
注意:kiji版本模型与工作流需要下载kiji版本的VAE模型、text_encoders模型及clip模型,上述模型均在kiji模型发布页中,见下图示例,本节不再详细说明。
后文以官方版本模型与工作流为例进行演示说明。
1.2.1 wan2.1视频模型(官方版本)
wan2.1模型分为文生视频(Text to Video)和图生视频(image to Video)两种模型。
(1)文生视频模型:
分为1.3B和14B两种版本
1.3B版本可在消费级显卡运行,最低需要8G及以上显存,推荐16G以上显存,最大支持生成832×480像素视频。
14B版本需要至少40G显存的显卡,适用于A100或H100等专业卡,支持1280×720像素和832×480像素视频。
(2)图生视频模型:大小都是14B,分为480P和720P两种分辨率。
480p模型,最大支持生成832×480像素视频。
720p模型,最大支持生成1280×720像素视频。
(3)模型选择
模型放置地址:..\ComfyUI\models\diffusion_models
需要根据电脑显卡显存的大小选择对应版本的模型。
如下载kiji等发布的量化版本模型,推荐使用 fp16 版本而不是 bf16 版本,因为它们会得到更好的结果。质量排名(从高到低):fp16 > bf16 > fp8_scaled > fp8_e4m3fn
1.2.2 VAE模型(官方版本)
官方版本VAE模型下载地址:
https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/vae
文件存放目录:..\comfyui\models\vae
1.2.3 Clip模型(官方版本)
官方版本VAE模型下载地址:
https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/clip_vision
文件存放目录:..\comfyui\models\clip vision
1.2.4 text_encoders模型(官方版本)
官方版本模型下载地址:
https://huggingface.co/Kijai/WanVideo_comfy/tree/main
文件存放目录:..\comfyui\models\text_encoders
注意:选择模型时可以尝试更高的分辨率,但不要过于追求精度,相同分辨率下的fp16与fp8效果差距不明显,但fp16运行明显变慢!
1.3 示例工作流
1.3.1 官方原生版本示例工作流
官方版本的示例工作流,可以在comfyui操作界面中的模板中直接调取,先点击左上角“工作流”→“浏览模版”
在模版的“视频”界面中可以找到wan2.1的基础文生视频和基础图生视频工作流模板,点击即可进入编辑页面。
可以看到官方版本的wan2.1文生视频和图生视频工作流都十分简洁,整体与flux模型的工作流相似,按照这个工作流案例,调换对应的视频模型即可。
1.3.2 kiji版本示例工作流
kiji版本的示例工作流在WanVideoWrapper插件的安装目录中,地址如下:
..\comfyui\custom_nodes\ComfyUI-WanVideoWrapper\example_workflows
打开默认的文生图工作流,将工作流中的模型全部改变本地模型,然后点击生成,用默认提示词生成一段视频。
2 低显存显卡GGUF模型解决方案
低显存显卡可以使用GGUF模型,最小可以适配到4G显存,能在较低的配置资源上完成高质量的VACE视频生成。
2.1 模型下载
2.1.1GGUF视频模型
GGUF视频模型发布页:
https://huggingface.co/city96/models
UUGF模型放置路径:..\ComfyUI\models\unet
2.1.2其它模型
GGUF模型在工作流中所需的VAE模型、text_encoders模型及clip模型均与官方版本大模型所使用的配套模型一致,无需额外下载。
2.2 工作流应用
GGUF的工作流应用也很简单,仅需将官方基础工作流中的“UNet加载器”替换为“Unet Loader(GGUF)”,并选择GGUF版本大模型即可。
———————————————————————————————————————————
说明:文中所有模型已上传至国内网盘,需要请自行转存下载:
链接:https://pan.quark.cn/s/d2a73d8c9169
欢迎正在学习comfyui等ai技术的伙伴V加huaqingshan进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向、实现副业自由。 欢迎感兴趣的小伙伴,分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等……
致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。
——画青山学习专栏———————————————————————————————
Webui基础学习与实操:https://blog.csdn.net/vip_zgx888/category_13020854.html
Comfyui基础学习与实操:https://blog.csdn.net/vip_zgx888/category_13006170.html
comfyui功能精进与探索:https://blog.csdn.net/vip_zgx888/category_13005478.html
系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!
—————————————————————————————————————————