通义万相wan2.2 Fun系列--Camera镜头控制与lnp首尾帧视频模型

    上节内容讲解了wan2.2 fun control本节内容对wan2.2 fun系列模型的camera镜头控制模型与lnp首尾帧视频模型进行测试与讲解。

     Wan2.2-Fun-Camera-Control是阿里基于Wan2.2框架推出的图生视频运镜控制模型 。它支持512、768、1024等多分辨率的视频预测，以81帧、每秒16帧视频数据集训练，还支持多语言预测。该模型能实现丰富运镜效果，包括摇镜上移、左移、右移、下移，推镜、拉镜，以及摇镜上移与左移或右移的组合等。借助它，创作者无需复杂提示词，就能精准实现复杂运镜视频控制，极大提升视频创作中镜头语言的表现力 。 

    Wan2.2-Fun-Inp是阿里巴巴PAI团队开源的视频首尾帧生成模型，采用Apache 2.0许可协议，支持商业使用。它允许用户输入首帧与尾帧图像，模型自动补全中间过渡动画，有效提升视频连贯性与创作自由度。基于先进的Wan2.2架构，它能输出影视级高质量视频，在画面细节、光影和色彩表现上十分出色。并且，该模型支持512×512、768×768、1024×1024等多分辨率视频生成，可满足广告制作、影视创作、短视频制作等不同场景需求 。（wan2.2基础模型也具备首尾帧视频功能，详见wan2.2基础模型对应文章内容）

    文末附相关模型的网盘下载地址。

1 模型下载

1.1 wan2.2 fun camera镜头控制模型

模型下载地址（需科学上网）：

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models

模型分为5B和14B模型两种规格。

14B模型划分为高噪声模型与低噪声模型，且每类模型又分为fp16与fp8两种模型。

模型安装位置：..\ComfyUI\models\diffusion_models

1.2 Wan2.2-Fun-Inp首尾帧视频模型

上述模型下载地址中，下载名称为wan2.2funinpaint相关模型。

模型安装位置：..\ComfyUI\models\diffusion_models

注：wan2.2系列模型对应的VAE等模型使用方式一致，如已按前文内容下载VAE等模型，则后续模型无需再重复下载。

1.3 VAE模型

（1）14B版本模型工作流中所使用的VAE模型仍是wan2.1版本的VAE模型。

下载地址：

https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/tree/main/split_files/vae

文件存放目录：..\comfyui\models\vae

（2）5B混合模型使用wan2.2专用VAE模型，下载地址：

wan2.2_vae.safetensors

模型下载地址（需科学上网）：

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/vae

模型安装位置：..\comfyui\models\vae

1.4Text Encoder文本编码器

umt5_xxl_fp8_e4m3fn_scaled.safetensors

模型下载地址（需科学上网）：

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/text_encoders

注：该模型与wan2.1/2.2系列模型共用，如已使用过wan模型则无需重复下载。

1.5加速lora模型（lightx2v_4steps_lora）

模型下载地址（需科学上网）：

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/loras

模型安装目录：..\comfyui\models\loras

高噪声和低噪声模型加载器后均需链接对应版本的加速lora模型。

使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA : 但可能导致生成的视频动态会有损失，但速度会更快。下面是comfyorg官方使用RTX4090D 24GB显存GPU 测试的结果 640*640 分辨率，81 帧长度的用时对比：

模型类型	分辨率	显存占用	首次生成时长	第二次生成时长
fp8_scaled	640×640	83%	≈ 524秒	≈ 520秒
fp8_scaled + 4步LoRA加速	640×640	89%	≈ 138秒	≈ 79秒

2 工作流

2.1 wan2.2 fun camera镜头控制模型

在 WanCameraEmbedding 节点设置相机控制参数：

Camera Motion: 选择相机运动类型（Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static 等）

Width/Height: 设置视频分辨率

Length: 设置视频帧数（默认81帧）

Speed: 设置视频速度（默认1.0）

2.2wan2.2 fun lnp首尾帧视频模型

（1）首尾帧图片上传，分别上传首尾帧图片素材

（2）WanFunInpaintToVideo 节点尺寸和视频长度调整：

调整 width 和 height 的尺寸，默认为 640, 我们设置了较小的尺寸你可以按需进行修改：

调整 length, 这里为视频总帧数，当前工作流 fps 为 16, 假设你需要生成一个 5 秒的视频，那么你应该设置 5*16 = 80

3 附件

    本节内容涉及模型网盘地址：https://pan.quark.cn/s/0062f602f8b4

    模型文件已进行整理，网盘内包含工作流获取方式，适合不方便科学上网的的小伙伴下载使用。模型文件数量较多且尺寸较大，为避免下载中断等问题，可先转存再下载。

       欢迎正在学习comfyui等ai技术的伙伴V加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等，也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴，群共享资料会分享博主自用的comfyui整合包（已安装超全节点与必备模型）、基础学习资料、高级工作流等资源……

    致敬每一位在路上的学习者，你我共勉！Ai技术发展迅速，学习comfyUI是紧跟时代的第一步，促进商业落地并创造价值才是学习的实际目标。

 

——画青山Ai学习专栏———————————————————————————————

零基础学Webui：

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操：

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索：

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中，欢迎订阅关注，共同学习，共同进步！