【Coze】【视频】情感混剪工作流
今天给大家演示一个 自动化短视频合成 Coze 工作流。该流程通过大模型生成文案与标题,再结合语音合成、音频分析和视频剪辑插件,自动完成从文字到成品短视频的全过程。它能够高效整合字幕、配音、背景音乐以及随机视频片段,最终生成一份可直接用于发布的剪映草稿,极大地提升了创作者的生产效率。
文章目录
- 工作流介绍
- 核心模型
- Node节点
- 工作流程
- 大模型应用
- 文案与标题生成节点
- 使用方法
- 应用场景
- 开发与应用
工作流介绍
这个工作流整体逻辑清晰:大模型负责生成标题和文案,语音合成节点将文字转化为配音,音频分析节点计算时长并驱动视频片段的切分,多个代码节点完成字幕、视频和音频的重组,最后通过剪映插件节点批量添加视频、字幕和音频,合成完整的短视频草稿。整体形成了一条从输入文本到视频成品的闭环生产线。
核心模型
在本流程中,大语言模型负责生成视频文案和标题,它的推理能力保证了输出的内容连贯、自然,并支持长上下文的深度思考。结合语音合成模型,可以将文案转为拟人化的声音,从而实现图文到音视频的跨模态转换。
模型名称 | 说明 |
---|---|
豆包·1.5·Pro·深度思考·128K | 用于生成视频标题与文案,具备长文本处理与高质量输出能力 |
speech_synthesis(语音合成) | 将生成的文本转换为音频配音,支持多音色与语速调整 |
Node节点
工作流由大模型节点、插件节点以及代码节点组成,各节点在处理链路中各司其职:大模型负责文本生成,代码节点处理逻辑拼接与格式重组,插件节点对接剪映工具,完成视频、字幕与音频的批量合成。
节点名称 | 说明 |
---|---|
大模型_1 | 调用大语言模型生成视频标题和文案 |
speech_synthesis_1 | 将文案合成为音频 |
get_audio_duration_1 | 获取配音音频的时长 |
代码_选视频片段_1 | 按时长切分并随机选取视频片段 |
代码_数据重组_1 | 整合视频、字幕、配音、BGM 信息 |
add_videos_1 | 将视频片段批量导入剪映草稿 |
add_captions_1 | 批量添加字幕 |
添加配音_1 | 批量添加语音配音 |
添加背景音_1 | 批量添加背景音乐 |
create_draft_1 | 创建剪映草稿作为成品容器 |
文本处理_1 | 拆分与清洗输入文本内容 |
工作流程
该工作流整体分为四大阶段:首先由大模型生成标题和文案,随后通过语音合成和音频处理得到配音与时长信息,再结合代码节点对视频片段、字幕和配音进行重组,最后交由剪映插件批量完成视频、字幕和音频的导入,生成可直接发布的成品草稿。每个阶段环环相扣,实现从输入文本到完整短视频的全链路自动化。
流程序号 | 流程阶段 | 工作描述 | 使用节点 |
---|---|---|---|
1 | 文本生成 | 大模型生成视频标题和文案 | 大模型_1 |
2 | 语音合成 | 将文案转化为配音音频 | speech_synthesis_1 |
3 | 音频分析 | 获取音频时长,驱动视频切分 | get_audio_duration_1 |
4 | 视频抽取 | 随机选取符合时长的视频片段 | 代码_选视频片段_1 |
5 | 数据重组 | 整合视频、配音、字幕和BGM | 代码_数据重组_1 |
6 | 草稿创建 | 创建剪映草稿容器 | create_draft_1 |
7 | 视频导入 | 批量导入视频片段到草稿 | add_videos_1 |
8 | 字幕添加 | 批量导入字幕内容 | add_captions_1 |
9 | 配音导入 | 批量导入配音音频 | 添加配音_1 |
10 | 背景音添加 | 批量导入背景音乐 | 添加背景音_1 |
11 | 成品草稿 | 生成可直接编辑和发布的视频草稿 | create_draft_1 输出 |
大模型应用
文案与标题生成节点
该大模型节点的核心任务是根据用户输入的主题或素材,生成完整的视频文案和标题。它通过深度语言推理,确保生成的文本自然流畅、逻辑清晰,便于后续语音合成和视频剪辑使用。在整个工作流中,它起到“内容创作源头”的作用,是视频自动化生成的起点。
节点名称 | Prompt信息 | 说明 |
---|---|---|
大模型_1 | 根据输入的标题与主题,生成一段完整的短视频文案,要求内容逻辑清晰、表达自然,便于后续合成配音与字幕使用。 | 用于生成视频标题和核心文案,确保文本具备可听性和传播性,是工作流中承上启下的关键环节。 |
使用方法
开始节点
开始节点会接收用户输入的标题或文本作为视频内容的基础信息,并在后续由大模型扩展为完整文案。输入字段清晰规定了数据类型和用途,保证后续节点处理顺畅。
字段名 | 含义 | 数据类型 |
---|---|---|
title | 用户提供的视频标题或主题 | str.String |
content | 视频文案的初始内容 | str.String |
结束节点
结束节点以生成的剪映草稿为最终输出结果,用户可直接在剪映中打开并进行进一步编辑或直接发布。
字段名 | 含义 | 数据类型 |
---|---|---|
draft_url | 输出的成品草稿链接 | 创建草稿 - draft_url |
应用场景
该工作流主要面向短视频创作者、营销人员和自媒体从业者,能够快速将文字内容转换为配音视频,自动匹配字幕和背景音乐,适合用于知识讲解、情感故事、热点追踪、产品推广等多种应用场景。通过全链路自动化处理,用户只需提供文本即可得到可直接使用的短视频成品,极大地降低了视频制作门槛并提升了内容产出效率。
应用场景 | 使用目标 | 典型用户 | 展示内容 | 实现效果 |
---|---|---|---|---|
知识科普 | 将知识点快速转化为讲解短视频 | 教育类创作者 | 文案 + 配音 + 视频片段 | 自动生成知识讲解视频 |
情感故事 | 通过语音和画面增强故事感染力 | 情感类博主 | 文本故事 + 配音 + BGM | 自动生成情感类视频 |
热点追踪 | 快速跟进热点事件并发布内容 | 自媒体工作室 | 热点文本 + 随机视频 | 快速产出热点视频 |
产品推广 | 将产品介绍转化为短视频广告 | 电商与品牌方 | 产品介绍 + 配音 + 背景音乐 | 自动生成带字幕的宣传视频 |
开发与应用
更多 AIGC 与 Agent工作流 相关研究学习内容请查阅:
AIGC 与 Agent 工作流应用汇总
更多内容桌面应用开发和学习文档请查阅:
AIGC工具平台Tauri+Django环境开发,支持局域网使用
AIGC工具平台Tauri+Django常见错误与解决办法
AIGC工具平台Tauri+Django内容生产介绍和使用
AIGC工具平台Tauri+Django开源ComfyUI项目介绍和使用
AIGC工具平台Tauri+Django开源git项目介绍和使用