InfiniBand （IB）和 以太网 的区别
文章目录
- 一、什么是 InfiniBand 网络？
- 二、InfiniBand 的主要特点
- 三、InfiniBand vs 以太网（Ethernet）对比
- 通俗类比：
- 四、InfiniBand 在 Oracle RAC 中的作用
- 五、InfiniBand 的敏感性
- 总结
一、什么是 InfiniBand 网络？
InfiniBand（IB）是一种专为高性能计算（HPC）设计的网络技术，提供极高带宽、超低延迟和 RDMA（远程直接内存访问）功能。
它被广泛应用在：
- Oracle Exadata
- 超算集群（如天河、神威）
- 云计算高性能节点
- 数据中心的存储网络
二、InfiniBand 的主要特点
| 特性 | 说明 |
|---|---|
| RDMA（Remote Direct Memory Access） | 可直接读写远程节点内存，不经过 CPU，极快 |
| 超低延迟 | 延迟低至几微秒（μs），远远优于以太网 |
| 高带宽 | 每条链路支持 40Gbps、56Gbps，甚至更高 |
| 高可靠性 | 支持多路径、冗余、自恢复路由机制 |
| 网络架构先进 | 使用交换式架构，避免广播风暴和冲突域问题 |
| 零拷贝传输 | 数据可直接从应用层传输到目标设备，无需缓冲拷贝 |
三、InfiniBand vs 以太网（Ethernet）对比
| 项目 | InfiniBand | 以太网（Ethernet） |
|---|---|---|
| 用途定位 | 高性能集群 | 通用企业网络 |
| 典型速率 | 40G、56G、100G | 1G、10G、25G |
| 延迟 | 几微秒 | 几百微秒到毫秒 |
| 传输机制 | RDMA、零拷贝、无内核干预 | TCP/IP、需内核参与 |
| 协议栈 | 使用 IB 协议栈（如 RDS、IPoIB） | TCP/IP |
| 部署成本 | 昂贵（光模块、HCA、交换机） | 便宜 |
| 可靠性 | 多路径冗余、自恢复路由 | 单链路、易堵塞 |
| 典型应用场景 | Oracle RAC、HPC、Exadata | 通用网络、办公、Web服务器 |
通俗类比：
- 以太网像是“普通城市公交”——到站多，速度稳定但慢；
- InfiniBand 像是“高铁专线”——直达快速、安全、耗时极少。
四、InfiniBand 在 Oracle RAC 中的作用
在 Oracle RAC 架构中，IB 网络主要承担私网（Private Interconnect）通信，包括：
| 用途 | 说明 |
|---|---|
| 节点心跳通信（Heartbeat） | 判断节点是否存活（关键） |
| Global Cache 传输 | 节点间同步缓存块（GCS） |
| Global Lock 管理 | 多节点访问同一数据时传递锁信息（GES） |
| iSCSI 存储访问（Exadata） | 用 RDMA 实现极高速块访问 |
五、InfiniBand 的敏感性
由于 IB 延迟极低、速度极快，它也有一些“脆弱”的特点：
| 弱点 | 说明 |
|---|---|
| 对物理层非常敏感 | 线缆、模块稍有松动就会造成 link flap（连接跳变） |
| 不容忍抖动 | 心跳丢 2～3 次就可能触发 fencing |
| 交换机事件不可忽视 | IB 交换机的 SMA、port flap 会直接影响通信链路 |
| 报错即触发上层机制 | Oracle Clusterware 会立即响应 IB 失败行为（比如自杀重启） |
总结
InfiniBand 是一种“速度极致”的高性能网络，它在 Oracle RAC 中承担心跳和缓存同步等关键任务，但也极度依赖物理连接质量，任何微小抖动都可能导致整个节点被踢出集群。