当前位置： 首页 > news >正文

LVS四种模式及部署NAT、DR模式集群

news 2025/7/17 10:52:44

1、lvs简介

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里四层SLB(ServerLoadBalance)是基于LVS+keepalived实现

LVS 官网: http://www.linuxvirtualserver.org/

LVS 相关术语
VS: Virtual Server，负责调度
RS:RealServer，负责真正提供服务

2、lvs集群体系结构

工作原理：
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

3、LVS概念

        VS：Virtual Server---------------------（调度器）
RS：Real Server -----------------------（真实资源主机）
CIP：Client IP----------------------------（用户的IP）
VIP: Virtual serve IP VS外网的IP ---（客户访问的IP）
DIP: Director IP VS内网的IP-----------（调度器与主机的IP）
RIP: Real server IP ------------------------（真实资源主机的IP）
访问流程：CIP <--> VIP == DIP <--> RIP

4、 lvs集群的类型

vs-nat： 修改请求报文的目标IP,多目标IP的DNAT
lvs-dr： 操纵封装新的MAC地址
lvs-tun： 在原请求IP报文之外新加一个IP首部
lvs-fullnat： 修改请求报文的源和目标IP

nat模式

Ivs-nat:

         本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP
请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
支持端口映射，可修改请求报文的目标PORT
VS必须是Linux系统，RS可以是任意OS系统

nat模式数据逻辑

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口
（9000port）
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）
4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞 

 

        客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

 部署NAT模式集群

1.Director 服务器采用双网卡，一个是桥接网卡连接外网，一个是仅主机网卡与后端Web服务器相连
2.Web服务器采用仅主机网卡与director相连
3.Web服务器网关指向192.168.0.100
4.后端web服务器不需要连接外网

实验环境

主机名IPVIP角色
LVS192.168.0.100 仅主机172.25.254.100调度器（VS）
RS1192.168.0.101 仅主机，GW 192.168.0.100null真实服务器（RS）
RS2192.168.0.102 仅主机，GW 192.168.0.100null真实服务器（RS）
client172.25.254.111 nat测试机

配置4台主机的环境命令

LVS：

添加一台主机（仅主机模式）

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.100 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）
[root@aa ~]# vmset.sh eth1 192.168.0.100 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）

查看IP

关闭防火墙

[root@LVS ~]# systemctl stop firewalld
client：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.111 client.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

关闭防火墙

[root@client ~]# systemctl stop firewalld
RS1：

设置成仅主机模式

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.101 RS1.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

设置网关(网关的IP是LVS主机的仅主机的IP)

[root@RS1 ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=192.168.0.101/24,192.168.0.100
dns=8.8.8.8[root@RS1 ~]# nmcli connection reload 
[root@RS1 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
[root@RS1 ~]#

关闭防火墙打开Httpd 

[root@RS1 ~]# systemctl stop firewalld
[root@RS1 ~]# systemctl start httpd

在/var/www/html/index.html写入内容

[root@RS1 ~]# echo "RS1 server - 192.168.0.101" > /var/www/html/index.html
RS2：

设置成仅主机模式、

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.102 RS2.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

查看IP

 设置网关(网关的IP是LVS主机的仅主机的IP)

[root@RS2 ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=192.168.0.102/24,192.168.0.100
dns=8.8.8.8[root@RS2 ~]# nmcli connection reload 
[root@RS2 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
[root@RS2 ~]#

关闭防火墙打开Httpd

[root@RS2 ~]# systemctl stop firewalld
[root@RS2 ~]# systemctl start httpd

在/var/www/html/index.html写入内容

[root@RS2 ~]# echo "RS2 server - 192.168.0.102" > /var/www/html/index.html

环境配置完毕！！

在LVS中启用内核路由功能

[root@LVS ~]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf
[root@LVS ~]# sysctl --system
net.ipv4.ip_forward = 1

 在LVS中安装ipvsadm

[root@LVS ~]# yum install ipvsadm -y

在LVS中添加调度策略

[root@LVS ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.101:80 -m
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.102:80 -m

查看策略

[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr-> 192.168.0.101:80             Masq    1      0          0         -> 192.168.0.102:80             Masq    1      0          0

 

保存规则

[root@LVS ~]# ipvsadm -Sn
-A -t 172.25.254.100:80 -s rr
-a -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 1
-a -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1
[root@LVS ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm-config 
[root@LVS ~]# cat /etc/sysconfig/ipvsadm-config 
-A -t 172.25.254.100:80 -s rr
-a -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 1
-a -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1

删除所有规则

[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

重新加载规则

[root@LVS ~]# ipvsadm -R < /etc/sysconfig/ipvsadm-config 
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr-> 192.168.0.101:80             Masq    1      0          0         -> 192.168.0.102:80             Masq    1      0          0

以上操作均为临时，如果想开机启动

[root@LVS ~]# systemctl enable --now ipvsadm.service

在client主机测试

[root@client ~]# for N in {1..6};do curl 172.25.254.100;done
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
[root@client ~]#

修改为权重调用算法

[root@LVS ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr
[root@LVS ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.101:80 -m -w 2
[root@LVS ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.102:80 -m -w 1#测试效果
[root@client ~]# for N in {1..6};do curl 172.25.254.100;done
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102
RS1 server - 192.168.0.101
RS1 server - 192.168.0.101

部署NAT模式集群完成!!!

部署DR模式集群

 实验环境

主机名IPVIP角色
client

172.25.254.10    nat

GW   172.25.254.100

null测试主机
router

172.25.254.100     nat

192.168.0.10         仅主机

null路由器
LVS

192.168.0.200，   仅主机

GW 192.168.0.10 

lo：192.168.0.100 仅主机调度器
RS1

192.168.0.101，   仅主机

GW 192.168.0.10 

lo：192.168.0.100 仅主机web服务 器1
RS2

192.168.0.102,     仅主机

GW 192.168.0.10 

lo：192.168.0.100 仅主机web服务 器2

配置5台主机的环境命令（已关闭防火墙，RS1与RS2已开启HTTPD）

client：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.10 client.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

 

设置网关 

[root@client ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=172.25.254.10/24,172.25.254.100
dns=8.8.8.8[root@client ~]# nmcli connection reload 
[root@client ~]# nmcli connection up eth0

查看IP

router：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 172.25.254.100 router.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）[root@aa ~]# vmset.sh eth1 192.168.0.10 router.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

查看IP

LVS：

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.200 LVS.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

设置网关

[root@LVS ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=192.168.0.200/24,192.168.0.10
dns=8.8.8.8
~            
[root@LVS ~]# nmcli connection reload 
[root@LVS ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7）

查看IP

RS1:

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.101 RS1.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/8）

设置网关


[root@RS1 ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=192.168.0.101/24,192.168.0.10
dns=8.8.8.8
~      
[root@RS1 ~]# nmcli connection reload 
[root@RS1 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）

查看IP

RS2:

用自动化脚本设置IP

[root@aa ~]# vmset.sh eth0 192.168.0.102 RS2.timinglee.org
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

 设置网关

[root@RS2 ~]# vim /etc/NetworkManager/system-connections/[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
method=manual
address1=192.168.0.102/24,192.168.0.10
dns=8.8.8.8[root@RS2 ~]# nmcli connection reload 
[root@RS2 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

查看IP

环境配置完成！！

确保每台主机ping都可以互相通信

例如：

在LVS和 RS1与RS2中设定vip

[root@LVS ~]# ip addr add dev lo 192.168.0.100/32
[root@RS1 ~]# ip addr add dev lo 192.168.0.100/32
[root@RS2 ~]# ip addr add dev lo 192.168.0.100/32

查看IP

 

在RS1和RS2中解决响应问题

vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2

 在lvs中配置策略

[root@LVS ~]# ipvsadm -A -t 192.168.0.100:80 -s wrr
[root@LVS ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.101:80 -g
[root@LVS ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.102:80 -g
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.100:80 wrr-> 192.168.0.101:80             Route   1      0          0         -> 192.168.0.102:80             Route   1      0          0

测试效果：

部署DR模式集群完成！！ 

防火墙标签解决轮询错误

.轮询规则中可能会遇到的错误
以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出
现了一个轮询错乱的问题
当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上
问题呈现

防火墙标记解决轮询调度问题

FWM:FireWall Mark
MARK target 可用于给特定的报文打标记,
--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服
务:可将多个不同的应用使用同一个集群服务进行调度
实现方法:
在Director主机打标记:

在Director主机基于标记定义集群服务

lvs持久链接

        在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单粗暴，可能会导致调度失衡

解决方案
在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把这个源的主机调度到了那个RS上
如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到同一台RS上。
如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

LVS的隧道-TUN 模式

工作原理：

  1. IP隧道封装：调度器（Director）在收到客户端请求后，在原始IP数据包外再封装一层IP头（源IP为DIP，目标IP为RIP），形成隧道传输。

  2. RS处理：真实服务器（RS）解封装后，发现内层目标IP是VIP（配置在本地），直接响应客户端（不经过Director。

  3. 跨网络支持：调度器和RS可不在同一局域网，适用于跨机房或云环境。

特点：

  • RS需支持IP隧道（如加载ipip模块。

  • 响应数据直接返回客户端，减轻Director负载。

  • 不支持端口映射，RS需配置VIP。

LVS的Full-NAT 模式

工作原理：

  1. 双向地址转换：

    • 入站：源IP（CIP→LVS内网IP），目标IP（VIP→RIP。

    • 出站：源IP（RIP→VIP），目标IP（LVS内网IP→CIP。

  2. 跨VLAN通信：通过内网IP中转，解决NAT模式必须同VLAN的限制。

特点：

  • RS无需设置网关为Director，部署灵活。

  • 支持大规模水平扩展（多Director对多RS。

  • 缺点：RS无法直接获取客户端IP（需TOA模块提取TCP Option中的真实IP。

适用场景：

  • 跨VLAN或复杂网络环境。

  • 需高可用且运维简化的场景（如阿里云SLB。

两种模式对比：

  • TUN：高性能、跨网络，但需RS支持隧道。

  • Full-NAT：部署灵活，但需额外处理客户端IP问题。

http://www.dtcms.com/a/283182.html

相关文章：

  • CD53.【C++ Dev】模拟实现优先级队列(含仿函数)
  • 【计算机网络】数据通讯第二章 - 应用层
  • 深度学习之反向传播
  • 【迭代】PDF绘本录音播放，点读笔方案调研和初步尝试
  • leetcode 725 分割链表
  • 微算法科技研究量子视觉计算，利用量子力学原理提升传统计算机视觉任务的性能
  • Kafka入门
  • 语音增强论文汇总
  • Go基本数据类型
  • 81、面向服务开发方法
  • Redisson实现分布式锁
  • Redisson实现限流器详解：从原理到实践
  • HTML 入门教程：从零开始学习网页开发基础
  • 前端知识：浏览器工作原理与开发者工具知识笔记
  • WIN10系统优化篇（一）
  • Leetcode 02 java
  • IDEA报错“资源找不到”？重启就好了！！？
  • 使用Dify构建HR智能助理，深度集成大模型应用，赋能HR招聘管理全流程，dify相关工作流全开源。
  • 城市蓝影.
  • 服务注册nacos和OpenFerign(用于封装跨服务之间的调用方法）
  • kubernetes学习笔记(一)
  • 数据结构 双向链表(2)--双向链表的实现
  • 黄仁勋链博会演讲实录：脱掉皮衣，穿上唐装，中文开场
  • 完善评论发布功能
  • PHP面向对象编程：类与对象的基础概念与实践
  • 从0到1搭建Lazada账号矩阵：自养号测评的精细化养号全攻略
  • Linux 定时器应用示例
  • 功能测试和回归测试
  • C# WPF后台设置控件样式失效的解决方法
  • 【Vue】tailwindcss + ant-design-vue + vue-cropper 图片裁剪功能（解决遇到的坑）