当前位置: 首页 > news >正文

HBM CPU Cache / GPU Cache 的关系

1. CPU Cache 和 DRAM 的关系

CPU Cache (L1/L2/L3)

在 CPU 芯片内部,由 SRAM 实现。
延迟极低:L1 ~1ns,L3 ~10ns。
存容量小(几十 KB → 几十 MB)。
作用:作为 CPU ↔ DRAM 之间的高速缓冲。

DRAM (主存)

在主板上,通常是 DDR4/DDR5
延迟 ~100ns,容量大(几 GB → TB)。
作用:CPU 的主要工作内存。
👉 类比:Cache = 小仓库就在手边,DRAM = 工厂仓库要跑一趟。

2. GPU 的存储层级

GPU Cache (L1/L2 Cache)

和 CPU 类似,位于 GPU 芯片内部。
容量小(KB~MB),但延迟极低(ns)
每个 SM(Streaming Multiprocessor)有 L1 cache,全芯片共享 L2 cache。

HBM (High Bandwidth Memory)

HBM 不是 Cache,而是 GPU 的主存。
类似 CPU 的 DRAM,只不过带宽更高(几百 GB/s~TB/s),延迟几十 ns。
物理上:通过 宽总线 + TSV (硅通孔) 堆叠在 GPU 封装内。
容量:几十 GB。
👉 类比:
GPU Cache = 手边小抽屉(ns级)
HBM = 楼下大仓库(几十 ns + 超大带宽)

3. HBM vs CPU Cache 的区别

层级位置本质延迟容量
CPU CacheCPU 内部SRAM 缓存1–10 nsKB–MB
CPU DRAM (DDR)主板内存条DRAM 主存~100 nsGB–TB
GPU CacheGPU 内部SRAM 缓存ns 级KB–MB
GPU HBMGPU 封装内DRAM 主存~30–100 nsGB–几十 GB

4. 总结

HBM 是 GPU 的主存,不是 Cache。
GPU Cache 在芯片内部,延迟更低,但容量小。
HBM 相当于 CPU 的 DRAM(主存),只是速度更快、带宽更大。

http://www.dtcms.com/a/337912.html

相关文章:

  • 第一阶段C#-14:委托,事件
  • ubuntu 下载安装tomcat简单配置(傻瓜式教程)
  • minio安装和配置
  • JUC读写锁
  • 视觉语言导航(7)——VLN的数据集和评估方法 3.2
  • openfeign 只有接口如何创建bean的
  • C++多线程编程深度解析【C++进阶每日一学】
  • 【损失函数】完全解析(两万字解读)
  • 现有网络模型的使用及修改
  • 一般情况下,python函数都会返回对象,但有时只调用一个函数,这是在修改这个信息
  • CAG缓存增强生成与RAG检索增强生成对比
  • CAG缓存检索生成 案例流程
  • 04高级语言逻辑结构到汇编语言之逻辑结构转换 do...while 结构
  • Android Studio受难记
  • echarts实现3个y轴的图表
  • 传输层协议——TCP
  • 刺猬的开发笔记之企业级兑换奖励c端链路开发
  • 【图论 次短路】P1491 集合位置|省选-
  • 【typenum】 17 非负数标记
  • Ansible 部署LNMP
  • shell脚本实现读取ini键值
  • 部署过程 99年证书
  • Servlet上传文件
  • 亚马逊新手突围:从流量破冰到持续出单
  • ACCESS窗体如何导出到文件,导入另一个工程?
  • java基础总结
  • mysql 主从架构详解
  • label studio标注时序数据
  • 《Unity Shader入门精要》学习笔记二
  • css中px转rem的计算公式