当前位置： 首页 > news >正文

LVS-DR模式高性能负载均衡实战

news 2025/8/7 6:49:27

DR模式（直接路由模式）实现说明

1. DR模式概述

定义

DR（Direct Routing）模式是LVS（Linux Virtual Server）负载均衡架构中的一种实现方式，通过直接修改数据包的目标MAC地址将请求转发到真实服务器。这种模式实现了请求和响应路径的分离，负载均衡器只处理入站请求，而真实服务器直接响应客户端，避免了返回流量对负载均衡器的性能影响。

特点

  • 高性能：真实服务器直接响应客户端，出站流量不经过负载均衡器
  • 低延迟：响应数据包不需要经过负载均衡器转发，减少网络跳数
  • 高吞吐量：适合大规模并发访问场景，可支持数万并发连接
  • 网络拓扑要求：负载均衡器和真实服务器必须在同一物理网络（二层可达），通常要求在同一交换机下
  • 资源利用率高：负载均衡器仅处理入站流量，CPU和内存消耗较低

典型应用场景

  • Web服务器集群负载均衡：适用于高并发访问的网站前端服务器
  • 视频流媒体服务器集群：需要大带宽传输的视频点播服务
  • 高并发访问的电商网站：大促期间的秒杀、抢购等高并发场景
  • 需要高性能负载均衡的金融交易系统：证券交易、支付系统等低延迟要求场景
  • API网关集群：需要高性能转发的微服务架构入口

2. 工作原理

数据包转发流程

  1. 客户端发送请求到VIP（Virtual IP），目标MAC地址为负载均衡器的MAC
  2. 负载均衡器接收请求后，根据调度算法选择一台真实服务器
  3. 负载均衡器仅修改数据包的目标MAC地址为选中的真实服务器MAC（不修改IP层信息）
  4. 真实服务器通过网卡接收请求（因为MAC地址匹配），内核发现目标IP（VIP）配置在本地
  5. 真实服务器处理请求后，直接使用VIP作为源地址响应客户端
  6. 响应数据包通过默认网关或直接路由返回客户端，不经过负载均衡器

ARP抑制机制

  • arp_ignore=1：仅响应目标IP地址是本地接口IP的ARP请求（不响应VIP的ARP请求）
  • arp_announce=2：始终使用最佳本地地址作为ARP请求的源IP（避免使用VIP作为源）
  • 实现方式：通过sysctl配置内核参数
  • 作用：防止多台服务器同时响应VIP的ARP请求导致冲突，确保只有负载均衡器响应VIP的ARP

数据包流向示例

客户端(1.1.1.1) --> [请求包: src=1.1.1.1,dst=VIP] --> 负载均衡器
负载均衡器修改MAC --> [请求包: src=1.1.1.1,dst=VIP,MAC=RealServer] --> 真实服务器
真实服务器 --> [响应包: src=VIP,dst=1.1.1.1] --> 客户端

3. 环境准备

硬件要求

  • 网络设备：
    • 负载均衡器与真实服务器需在同一局域网（二层互通）
    • 建议使用千兆或万兆网络接口卡
    • 交换机需支持端口镜像（用于故障排查）
  • 服务器配置：
    • 负载均衡器建议配置双网卡（管理口和业务口分离）
    • 真实服务器建议配置Bonding网卡提高可靠性
    • 建议使用带外管理接口（如iLO/iDRAC）

软件要求

负载均衡器：

  • 操作系统：Linux内核版本2.6.32及以上（推荐3.10+）
  • 内核模块：已加载ip_vs模块（lsmod | grep ip_vs检查）
  • 工具包：
    • ipvsadm（LVS管理工具）
    • tcpdump（网络抓包工具）
    • sysstat（性能监控工具）

真实服务器：

  • 网络配置：
    • VIP（Virtual IP）配置在lo接口
    • 关闭相关ARP响应功能
  • 服务配置：
    • 服务程序需要绑定到VIP地址
    • Web服务器需配置监听VIP（如Nginx的listen指令）
  • 监控工具：
    • 安装net-tools包（ifconfig等）
    • 配置zabbix-agent等监控代理

4. 负载均衡器配置

安装LVS工具包

# CentOS/RHEL 7/8
yum install ipvsadm -y
systemctl enable ipvsadm
systemctl start ipvsadm# Ubuntu/Debian
apt-get update
apt-get install ipvsadm -y
systemctl enable ipvsadm
systemctl start ipvsadm

添加VIP并启用IP转发

# 临时添加VIP（重启失效）
ip addr add 192.168.1.100/24 dev eth0 label eth0:0# 永久添加VIP（CentOS/RHEL）
echo 'DEVICE=eth0:0
BOOTPROTO=static
IPADDR=192.168.1.100
NETMASK=255.255.255.0
ONBOOT=yes' > /etc/sysconfig/network-scripts/ifcfg-eth0:0# 启用IP转发
echo 1 > /proc/sys/net/ipv4/ip_forward# 永久生效（所有Linux发行版）
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
sysctl -p

配置LVS规则

# 清除现有规则
ipvsadm -C# 添加虚拟服务（-t表示TCP，-s指定调度算法）
ipvsadm -A -t 192.168.1.100:80 -s wrr# 添加真实服务器(-g表示DR模式，-w设置权重)
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.101:80 -g -w 1
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.102:80 -g -w 2
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.103:80 -g -w 3# 保存规则（CentOS/RHEL）
service ipvsadm save
# 或
ipvsadm -Sn > /etc/sysconfig/ipvsadm# 查看配置
ipvsadm -Ln

5. 真实服务器配置

配置VIP并绑定到本地回环接口

# 临时配置（重启失效）
ip addr add 192.168.1.100/32 dev lo# 永久配置（CentOS/RHEL 7）
echo 'DEVICE=lo:0
IPADDR=192.168.1.100
NETMASK=255.255.255.255
ONBOOT=yes' > /etc/sysconfig/network-scripts/ifcfg-lo:0# 重启网络
systemctl restart network# 验证配置
ip addr show lo
ping -c 1 192.168.1.100

抑制ARP响应

# 临时设置
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce# 永久生效
cat >> /etc/sysctl.conf <<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOFsysctl -p

服务绑定配置示例（Nginx）

server {listen 192.168.1.100:80;server_name example.com;...
}

6. 测试与验证

基本功能测试

# 客户端测试
for i in {1..10}; do curl -s http://192.168.1.100/; done# 查看连接分发情况（在负载均衡器上执行）
watch -n 1 ipvsadm -ln

监控工具使用

# 查看LVS统计信息
ipvsadm -ln --stats# 查看实时连接状态
watch -n 1 ipvsadm -lcn# 查看各服务器当前连接数
ipvsadm -l --rate

网络抓包分析

# 在负载均衡器上抓包（观察请求转发）
tcpdump -i eth0 host 192.168.1.100 -nn -vv# 在真实服务器上抓包（观察请求接收和响应）
tcpdump -i eth0 host 192.168.1.100 -nn -vv
tcpdump -i lo host 192.168.1.100 -nn -vv

7. 常见问题与解决方法

ARP问题排查

  1. 现象：

    • VIP无法访问
    • 客户端访问不稳定
    • 请求未分发到真实服务器

  2. 检查步骤：

    # 检查ARP参数
cat /proc/sys/net/ipv4/conf/all/arp_ignore
cat /proc/sys/net/ipv4/conf/all/arp_announce# 检查VIP配置
ip addr show lo# 测试ARP响应
arping -I eth0 -c 1 192.168.1.100

数据包不通排查

  1. 检查点：

    • 二层连通性：ping 真实服务器IP
    • 防火墙规则：iptables -L -n
    • 服务绑定：netstat -tulnp | grep 80
    • 路由表：ip route show

  2. 典型解决方案：

    # 临时关闭防火墙
systemctl stop firewalld
# 或
iptables -F# 检查服务绑定
ss -tulnp | grep 80

性能瓶颈排查

  1. 监控指标：

    # CPU使用率
top# 网络带宽
iftop -i eth0# 连接速率
ipvsadm -l --rate

  2. 优化方向：

    • 升级网络设备到10G/25G
    • 调整调度算法为lc（最少连接）
    • 增加真实服务器数量
    • 启用TCP快速打开（net.ipv4.tcp_fastopen=3）

8. 性能优化建议

调度算法选择

  1. wrr（加权轮询）：

    • 适用场景：服务器性能不均的集群
    • 配置示例：ipvsadm -E -t 192.168.1.100:80 -s wrr

  2. lc（最少连接）：

    • 适用场景：长连接服务（如数据库、WebSocket）
    • 配置示例：ipvsadm -E -t 192.168.1.100:80 -s lc

  3. sh（源地址哈希）：

    • 适用场景：需要会话保持的应用
    • 配置示例：ipvsadm -E -t 192.168.1.100:80 -s sh

内核参数调优

# 提高连接哈希表大小
echo "net.ipv4.vs.conn_tab_bits=20" >> /etc/sysctl.conf# 优化连接处理
cat >> /etc/sysctl.conf <<EOF
net.ipv4.vs.expire_nodest_conn=1
net.ipv4.vs.expire_quiescent_template=1
net.ipv4.vs.conn_reuse_mode=1
net.ipv4.tcp_timestamps=1
net.ipv4.tcp_tw_reuse=1
EOFsysctl -p

其他优化措施

  1. 网卡优化：

    • 启用GRO/GSO：ethtool -K eth0 gro on gso on
    • 调整队列长度：ethtool -G eth0 rx 4096 tx 4096

  2. 中断平衡：

    # 安装irqbalance
yum install irqbalance -y
systemctl enable irqbalance
systemctl start irqbalance

  3. NUMA优化：

    • 绑定进程到特定CPU核心
    • 使用numactl分配内存

9. 扩展与高可用

结合Keepalived实现高可用

  1. 安装配置：

    yum install keepalived -y

  2. 配置示例（/etc/keepalived/keepalived.conf）：

    global_defs {router_id LVS_MASTER
}vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 51priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.1.100/24 dev eth0}
}virtual_server 192.168.1.100 80 {delay_loop 6lb_algo wrrlb_kind DRprotocol TCPreal_server 192.168.1.101 80 {weight 1TCP_CHECK {connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}

  3. 启动服务：

    systemctl enable keepalived
systemctl start keepalived

健康检查与动态维护

  1. 自定义健康检查脚本：

    #!/bin/bash
VIP=192.168.1.100
RIP=${1:-192.168.1.101}
PORT=80# 检查真实服务器状态
if curl -s --connect-timeout 3 http://${RIP}:${PORT}/healthcheck >/dev/null; then# 如果服务器健康但不在LVS中，则添加if ! ipvsadm -Ln | grep -q ${RIP}; thenipvsadm -a -t ${VIP}:${PORT} -r ${RIP} -g -w 1fi
else# 如果服务器不健康但在LVS中，则移除if ipvsadm -Ln | grep -q ${RIP}; thenipvsadm -d -t ${VIP}:${PORT} -r ${RIP}fi
fi

  2. 设置定时任务：

    # 每30秒检查一次
echo "*/30 * * * * root /usr/local/bin/lvs_healthcheck.sh" > /etc/cron.d/lvs-healthcheck

扩展方案

  1. 多级负载均衡：

    • 前端使用F5等硬件负载均衡
    • 中间层使用LVS DR模式
    • 后端使用Nginx等应用层负载均衡

  2. 地理负载均衡：

    • 结合DNS轮询
    • 使用智能DNS解析
    • 多机房部署方案

  3. 云原生集成：

    • Kubernetes Service实现
    • 使用MetalLB等负载均衡器
    • 自动扩缩容机制

  4. 性能监控体系：

    • Prometheus + Grafana监控
    • 自定义LVS指标导出
    • 自动化报警机制
http://www.dtcms.com/a/317535.html

相关文章：

  • PLC学习之路-定时器-(三）
  • Fabric.js从入门学习到实现labelImg矩形多边形标注工具【上】
  • 论文学习19：Multi-view Aggregation Network for Dichotomous Image Segmentation
  • STM32江科大学习笔记，全功能按键非阻塞式实现，按键点击，双击，长按
  • 思途AOP学习笔记 0806
  • 网安学习no.22
  • Zookeeper集群在Kubernetes上的高可用部署方案
  • 什么是VR全景图？VR全景图有什么优势？
  • vite项目中集成vditor文档编辑器
  • 金融风控实战：Spring Boot + LightGBM 贷款预测模型服务化（超详细版）
  • 多链钱包开发指南：MPC无助记词方案+60+公链支持
  • 问题定位排查手记1 | 从Windows端快速检查连接状态
  • STM32的PWR
  • 阿里云polardb-x 2.0迁移至华为云taurusdb
  • VSCode：基础使用 / 使用积累
  • react16 umi3 快速刷新配置
  • 从技术角度看React和Vue：性能、生态与开发体验对比
  • 猎板视角下的 PCB 翘曲：成因、检测、工艺优化及解决措施热点解析
  • C++ Primer Plus 14.4.10 模板别名
  • 下载 | Windows Server 2019最新原版ISO映像！(集成7月更新、标准版、数据中心版、17763.7558)
  • ref存储对象和reactive深度响应式递归地对对象的嵌套属性进行响应式处理
  • 纯血鸿蒙（HarmonyOS NEXT）应用开发完全指南
  • Baumer相机如何通过YoloV8深度学习模型实现农作物水稻病虫害的检测识别（C#代码UI界面版）
  • 机器学习----随机森林（Random Forest）详解
  • MonoFusion 与 Genie 3
  • imx6ull-驱动开发篇10——pinctrl 子系统
  • Apollo中三种相机外参的可视化分析
  • ipv6学习
  • CVE-2020-24557
  • 【LayUI】数据表格监听事件