当前位置：首页 > news >正文

ffmpeg-AVFilter 和 Filter Graph 使用指南

news 2025/8/13 10:53:27

FFmpeg 的 libavfilter 是一个强大的多媒体滤镜处理框架，允许你对音视频流进行各种处理（如缩放、裁剪、格式转换、混音等）。以下是关于 AVFilter 和 Filter Graph 的核心用法。

1. 基本概念

AVFilter: 单个滤镜（如 scale、trim、overlay）
AVFilterContext: 滤镜实例
AVFilterGraph: 滤镜图，包含多个滤镜和它们的连接关系
AVFilterInOut: 表示滤镜图的输入/输出

2. 基本使用流程

2.1 创建滤镜图

AVFilterGraph *filter_graph = avfilter_graph_alloc();
if (!filter_graph) {// 错误处理
}

2.2 创建并添加滤镜

AVFilterContext *src_ctx;
AVFilterContext *sink_ctx;
AVFilter *src_filter = avfilter_get_by_name("buffer");
AVFilter *sink_filter = avfilter_get_by_name("buffersink");// 创建源滤镜（输入）
char args[512];
snprintf(args, sizeof(args),"video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",width, height, pix_fmt,time_base.num, time_base.den,sar.num, sar.den);avfilter_graph_create_filter(&src_ctx, src_filter, "in", args, NULL, filter_graph);// 创建接收滤镜（输出）
avfilter_graph_create_filter(&sink_ctx, sink_filter, "out", NULL, NULL, filter_graph);

2.3 创建并连接滤镜链

AVFilterContext *scale_ctx;
AVFilter *scale_filter = avfilter_get_by_name("scale");// 创建缩放滤镜
avfilter_graph_create_filter(&scale_ctx, scale_filter, "scale", "w=640:h=480", NULL, filter_graph);// 连接滤镜
avfilter_link(src_ctx, 0, scale_ctx, 0);
avfilter_link(scale_ctx, 0, sink_ctx, 0);

2.4 配置滤镜图

if (avfilter_graph_config(filter_graph, NULL) < 0) {// 配置失败处理
}

3. 字符串方式配置滤镜图

FFmpeg 也支持用字符串描述滤镜图，更简洁：

char *filter_descr = "scale=w=640:h=480,format=yuv420p";
AVFilterInOut *outputs = avfilter_inout_alloc();
AVFilterInOut *inputs = avfilter_inout_alloc();// 设置输入输出
outputs->name = av_strdup("in");
outputs->filter_ctx = src_ctx;
outputs->pad_idx = 0;
outputs->next = NULL;inputs->name = av_strdup("out");
inputs->filter_ctx = sink_ctx;
inputs->pad_idx = 0;
inputs->next = NULL;if (avfilter_graph_parse_ptr(filter_graph, filter_descr,&inputs, &outputs, NULL) < 0) {// 错误处理
}avfilter_inout_free(&inputs);
avfilter_inout_free(&outputs);

4. 使用滤镜图处理帧

4.1 向滤镜图输入帧

AVFrame *frame = av_frame_alloc();
// 填充frame数据...if (av_buffersrc_add_frame(src_ctx, frame) < 0) {// 错误处理
}
av_frame_free(&frame);

4.2 从滤镜图获取处理后的帧

AVFrame *filtered_frame = av_frame_alloc();
int ret = av_buffersink_get_frame(sink_ctx, filtered_frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {// 需要更多输入或已结束
} else if (ret < 0) {// 错误处理
} else {// 使用处理后的帧// ...av_frame_unref(filtered_frame);
}
av_frame_free(&filtered_frame);

5. 音频滤镜示例

// 创建音频源滤镜
snprintf(args, sizeof(args),"time_base=%d/%d:sample_rate=%d:sample_fmt=%s:channel_layout=0x%"PRIx64,1, sample_rate, sample_rate,av_get_sample_fmt_name(sample_fmt), channel_layout);
avfilter_graph_create_filter(&src_ctx, avfilter_get_by_name("abuffer"), "in", args, NULL, filter_graph);// 创建音频接收滤镜
enum AVSampleFormat sample_fmts[] = { AV_SAMPLE_FMT_S16, AV_SAMPLE_FMT_NONE };
avfilter_graph_create_filter(&sink_ctx, avfilter_get_by_name("abuffersink"),"out", NULL, NULL, filter_graph);
av_opt_set_int_list(sink_ctx, "sample_fmts", sample_fmts, AV_SAMPLE_FMT_NONE, AV_OPT_SEARCH_CHILDREN);

6. 复杂滤镜图示例

// 画中画效果
char *filter_descr = "[in1]scale=w=320:h=240[scaled];""[in2][scaled]overlay=x=main_w-overlay_w-10:y=main_h-overlay_h-10[out]";// 分屏效果
char *filter_descr = "[in1]scale=w=iw/2:h=ih[left];""[in2]scale=w=iw/2:h=ih[right];""[left][right]hstack[out]";