用Python实现一个简单的远程桌面服务端和客户端

一、背景与需求分析

远程控制工具在IT运维、远程办公和嵌入式设备管理中扮演着重要角色。然而，在特定场景下（如控制基于RK3588芯片的Ubuntu系统），现有工具（如向日葵）可能存在以下问题：

1. 兼容性问题：嵌入式平台的特殊硬件架构可能导致商业软件无法正常工作
2. 性能问题：高延迟或低帧率影响操作体验
3. 成本问题：专业版软件通常需要付费订阅

为此，我们开发了一个轻量级的远程桌面解决方案，它具有以下特点：

• 低延迟：优化了网络传输和图像处理流程
• 跨平台：基于Python开发，可运行在多种系统上
• 开源免费：无使用限制，可自由定制
• 轻量级：核心代码不到500行

二、 技术方案概述

我们的远程桌面系统采用客户端-服务端架构：

+--------------+        +-----------------+
|              |        |                 |
|   客户端     |<------>|     服务端      |
| (控制端)     |        | (被控设备)      |
|              |        |                 |
+--------------+        +-----------------+

2.1 通信协议设计

通道类型	端口	功能	数据格式
视频流	5000	传输屏幕图像	帧长度头(4字节) + zlib压缩的JPEG图像
事件流	5001	传输控制事件	事件长度头(4字节) + CSV格式事件数据

2.2 性能优化策略

1. 图像压缩：JPEG编码 + zlib二次压缩
2. 帧率控制：客户端和服务端独立控制渲染/捕获帧率
3. 网络优化：禁用Nagle算法(TCP_NODELAY)
4. 线程分离：视频接收与UI渲染分离

三、服务端实现详解

服务端运行在被控设备上，负责捕获屏幕并响应控制指令。

3.1 核心功能模块

3.2 关键代码解析

屏幕捕获优化：

def capture_screen():with mss.mss() as sct:monitor = sct.monitors[1]  # 主显示器img = sct.grab(monitor)    # 高效捕获# 转换为OpenCV格式并调整大小frame = np.array(img)frame = cv2.cvtColor(frame, cv2.COLOR_BGRA2BGR)return cv2.resize(frame, RESOLUTION)

使用mss库替代传统的pyautogui.screenshot()，速度提升3-5倍，尤其在低性能设备上效果显著。

图像处理流水线：

def encode_frame(frame):# 使用硬件加速编码（如果可用）if cv2.ocl.haveOpenCL():cv2.ocl.setUseOpenCL(True)cl_frame = cv2.UMat(frame)_, jpeg = cv2.imencode('.jpg', cl_frame, [cv2.IMWRITE_JPEG_QUALITY, QUALITY])else:_, jpeg = cv2.imencode('.jpg', frame, [cv2.IMWRITE_JPEG_QUALITY, QUALITY])# 二次压缩减少网络负载return zlib.compress(jpeg.tobytes(), level=COMPRESS_LEVEL)

这里采用两级压缩策略：

1. JPEG有损压缩（质量40）：减少90%图像数据量
2. zlib无损压缩（级别1）：额外减少30-50%大小

事件处理逻辑：

def handle_event(data):parts = data.split(',', 4)event_type = parts[0]if event_type == 'm':  # 鼠标事件x, y = float(parts[1]), float(parts[2])screen_width, screen_height = pyautogui.size()abs_x = int(x * screen_width)abs_y = int(y * screen_height)# 移动或点击处理if len(parts) > 3:# ... 执行相应操作 ...elif event_type == 'k':  # 键盘事件key, pressed = parts[1], parts[2] == '1'# ... 执行按键操作 ...

事件数据采用紧凑的CSV格式：

• 鼠标事件：m,x,y,button,pressed
• 键盘事件：k,key,pressed

四、完整的代码

4.1 客户端代码(remote_desktop_client.py)

客户端提供用户界面，显示远程屏幕并捕获本地输入事件。

架构设计