平衡边缘计算场景下模型推理延迟与数据传输延迟

从评估框架、关键指标、优化方法三个层面进行分析：

---

一、评估框架设计

1. ​​延迟构成模型​​

总延迟可分解为：

Ttotal​=Ttransfer​+Tcompute​+Tqueue​

• ​​数据传输延迟（Ttransfer​）​​：包含网络传输时间（Tnetwork​）和协议处理时间（Tprotocol​）

• ​​模型推理延迟（Tcompute​）​​：包含前处理（Tpre​）、计算（Tinfer​）、后处理（Tpost​）

• ​​队列等待延迟（Tqueue​）​​：资源竞争导致的任务堆积时间

2. ​​评估维度矩阵​​

评估维度	数据传输延迟关注点	模型推理延迟关注点
​​时间特性​​	端到端传输时延（μs级）	计算流水线效率（FPS）
​​空间特性​​	带宽占用率（Mbps）	内存带宽利用率（GB/s）
​​资源冲突​​	网络接口争用	计算单元（CPU/GPU）争用