当前位置：首页 > news >正文

LinkMate 智能会议室系统：基于 Qt / QML / WebRTC / FFmpeg / Whisper / OpenGL 的实时音视频会议平台

news 2025/10/10 11:08:18

作者：执尺量北斗
项目类型：个人开发 / 毕业设计
技术栈：Qt + QML + WebRTC (libdatachannel) + FFmpeg + Whisper + OpenGL

一、项目背景与目标

在当今远程协作与线上办公成为主流的时代，稳定、高效、智能的音视频会议系统显得尤为重要。然而，现有的会议工具要么闭源、难以定制，要么对本地性能和网络条件要求高。

为了解决这些问题，我开发了 LinkMate 智能会议室系统 —— 一个基于 Qt/QML 的跨平台实时会议工具，集成了 WebRTC 实时传输、FFmpeg 编解码、Whisper AI 实时字幕、以及 OpenGL 视频渲染等多项技术。

本项目的核心目标是：

构建一个可本地运行的、可扩展的智能会议框架
深入理解音视频实时通信底层原理
探索 AI 与实时通讯的融合（字幕识别、语义分析）
为未来智能会议室系统提供基础模块与架构参考

二、系统整体架构

LinkMate 系统整体由 六个核心模块 组成：

模块	技术栈	功能说明
UI 层	Qt + QML	负责前端界面展示与交互，动态布局与状态切换
信令层	自定义 WebSocket 协议	负责房间管理、用户加入、媒体协商、消息转发
媒体层	libdatachannel（WebRTC 实现）	管理 PeerConnection、ICE、RTP、数据通道等
编解码层	FFmpeg + libx264 + libopus	实现视频帧与音频帧的编码、封包、解码
渲染层	OpenGL 实时绘制视频帧	高性能视频渲染，替代传统 QML Image 渲染方案
AI 字幕层	Whisper（本地推理）	对音频流实时识别，生成字幕，显示于 QML 层

整个系统采用分层解耦设计，每一层之间通过信号槽或事件总线通信，以保持模块独立性和扩展性。

三、核心技术实现

1️⃣ WebRTC 实时传输模块

LinkMate 使用 libdatachannel 实现了 WebRTC 的核心逻辑：

建立 PeerConnection
处理 SDP、ICE Candidate
支持音频流、视频流、数据通道三种轨道类型

信令采用自定义 JSON 格式，通过 WebSocket 进行交换，实现了房间创建、用户同步、状态维护等功能。

数据传输部分支持：

P2P 视频传输
实时音频传输
DataChannel 文件发送与消息同步

2️⃣ 视频采集与渲染

视频采集分为两种来源：

摄像头采集（通过 FFmpeg / DirectShow / v4l2）
屏幕捕获（Windows 使用 DXGI Desktop Duplication API）

采集到的帧会经过编码后交给 WebRTC 推流，同时，在本地 UI 层使用 OpenGL 绘制视频图像。

这部分是系统的性能关键点。相比使用 QML 的 Image 或 VideoOutput，我采用了 OpenGL 原生渲染路径，实现了：

更低的帧延迟（减少中间层纹理拷贝）
GPU 加速解码显示
支持 YUV → RGB 纹理转换
多路视频流动态渲染（网格布局）

渲染流程示意：

FFmpeg 解码帧 (AVFrame)↓
YUV 数据上传 GPU 纹理↓
OpenGL 着色器渲染至 FBO↓
QQuickFramebufferObject 显示

3️⃣ 音频模块

音频部分采用 libopus 编解码，保证语音清晰与延迟可控。

同时系统支持：

Whisper 音频流监听与转写（AI 字幕）

4️⃣ AI 实时字幕系统

LinkMate 的一大亮点是本地化的 AI 字幕生成模块。
系统通过 Whisper 模型对实时音频进行转录，将语音转化为文字，并在界面上滚动显示。

字幕模块特点：

Whisper 本地运行，无需联网
支持多语言自动识别
支持语音延迟补偿
可选 Whisper-tiny / base / small 模型平衡速度与准确度

四、界面设计与交互

UI 使用 Qt Quick Controls 2 + QML 动画系统 实现，风格轻量、现代，采用对称布局。

界面包括：

主会议界面（视频网格 + 底部控制栏）
屏幕共享预览区
聊天/文件面板
实时字幕区
会议设置页（分辨率 / 帧率 / 音频设备）

关键交互：

StackView 页面切换带有淡入淡出动画
鼠标事件控制退出/进入全屏
动态高亮当前发言者视频窗格

五、项目亮点

✅ 跨平台架构：支持 Windows / Linux / macOS
✅ 本地化 Whisper AI：实时转写，无需网络依赖
✅ OpenGL 视频渲染：高性能低延迟
✅ 屏幕共享 / 文件传输：完整会议场景覆盖
✅ 模块化设计：UI、信令、媒体、AI 解耦
✅ QML 动画与控件自定义：可轻松修改主题与布局