一.集群和分布式:
集群:同一个业务系统,部署在多台服务器上,集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务
分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率,
对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败
二.LVS 介绍
定义:
LVS 是基于 Linux 内核的四层(传输层)负载均衡解决方案,由章文嵩博士开发,用于构建高性能、高可用的服务器集群。
核心组件:
-
Director(调度器):接收客户端请求并分发到后端 Real Server。
-
Real Server(真实服务器):实际处理请求的后端服务器集群。
-
VS:Virtual Server: 虚拟服务器
-
VIP(虚拟 IP):对外提供服务的虚拟 IP 地址。
-
RIP(真实 IP):后端服务器的真实 IP 地址。
-
CIP:Client IP
VS:负责调度
RS:负责真正的服务
访问流程:CIP VIP == DIP RIP
官网:The Linux Virtual Server Project - Linux Server Cluster for Load Balancinghttp://www.linuxvirtualserver.org/ lvs集群体系结构
LVS的三种工作模式
NAT
Ivs-nat:
本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈支持端口映射,可修改请求报文的目标PORT
VS必须是Linux系统,RS可以是任意OS系统
NAT模式的工作流程
1.客户端发送访问请求,请求数据包中含有请求来源(cip),访问目标地址(VIP)访问目标端口(9000port)
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求,发送响应数据包,包中的相应保温为数据来源(RIP1)响应目标(CIP)相应端口(9000port)
4.VS服务器接收到响应数据包,改变包中的数据来源(RIP1-->VIP),响应目标端口(9000-->80)
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机,所以lvs的调度机容易阻塞
图解
客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间,所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。
DR
TUN
模式 | 原理 | 优点 | 缺点 |
NAT | 修改数据包的IP/端口 | 支持端口映射,配置简单 | Director 易成瓶颈 |
DR(Direct Routing) | 仅修改 MAC 地址,不修改 IP | 性能极高(90% 吞吐量) | 要求 Real Server 与 Director 同局域网 |
TUN(IP 隧道) | 通过 IP 隧道封装数据包 | 可跨机房部署 | 配置复杂,隧道开销高 |
关键区别:
-
NAT/FullNAT:请求和响应均经过Director。
-
DR/TUN:仅请求报文经过Director,响应报文由RS直接返回客户端。
vs-dr:通过封装新的MAC首部实现,通过MAC网络转发
lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信
lvs-nat与lvs-fullnat:请求和响应报文都经由Director
lvs-nat:RIP的网关要指向DIP
LVS调度算法
LVS支持多种调度算法,分为静态和动态两类:
1. 静态算法(不考虑RS负载)
-
RR(轮询):均分请求到各RS。 ——适用场景:Real Server 性能均等
-
WRR(加权轮询):根据RS性能分配权重。 ——适用场景:Real Server 配置不均
-
SH(源地址哈希):同一客户端固定访问同一RS(会话保持)。 ——适用场景:需要会话保持的应用
2. 动态算法(基于RS负载状态)
-
LC(最少连接):优先选择连接数最少的RS。 ——适用场景:长连接服务(如数据库)
-
WLC(加权最少连接):默认算法,结合权重和连接数。 ——适用场景:Real Server 性能均等,但需动态平衡 “连接数”,避免节点过载。
-
SED/NQ:优化高权重节点的初始连接分配。 ——适用场景:Real Server 性能均等,但需 “优先让高权重节点承接初始连接”(哪怕连接数稍多 ),或需 “初始流量倾斜”。
lvs命令介绍
lvs软件相关信息
程序包:ipvsadm
Unit File: ipvsadm.service
主程序:/usr/sbin/ipvsadm
规则保存工具:/usr/sbin/ipvsadm-save
规则重载工具:/usr/sbin/ipvsadm-restore
配置文件:/etc/sysconfig/ipvsadm-config
ipvs调度规则文件:/etc/sysconfig/ipvsadm
ipvsadm命令
管理集群服务
ipvsadm -A|E -t(tcp)|u(udp)|f(防护墙标签) \
service-address(集群地址) \
[-s scheduler(调度算法)] \
[-p [timeout]] \
[-M netmask] \
[--pepersistence_engine] \
[-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器
lvs集群中的增删改
1.管理集群服务中的增删改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法,默认为WLC
-p #设置持久连接超时,持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记,是一个数字
形式
#增加
[root@DR-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@DR-server ~]# ipvsadm -A -f 66 -p 3000
#修改
[root@DR-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000
#删除
[root@DR-server ~]# ipvsadm -D -t 172.25.254.100:80[root@DR-server ~]# ipvsadm -D -f 66
2.管理集群中RealServer的曾增删改
-a #添加realserver
-e #更改realserver-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate #输出速率信息
形式
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
#添加
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2
#更改
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1
#删除
[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30
[root@DR-server ~]# ipvsadm -Ln
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP 172.25.254.100:80 0 0 0 0 0
-> 192.168.0.30:80 0 0 0 0 0
-> 192.168.0.40:80 0 0 0 0 0
[root@DR-server ~]# ipvsadm -C ——清空所有策略[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP 172.25.254.20:80 0 0 0 0 0
-> 192.168.0.30:80 0 0 0 0 0
-> 192.168.0.40:80 0 0 0 0 0
NAT模式集群实验:
实验环境
主机名 | IP | VIP | 角色 |
lvs | 192.168.0.100 | 172.25.254.100 | 调度器(VS) |
RS1 | 192.168.0.10,GW192.168.0.100 | null | 真实服务器(RS) |
RS2 | 192.168.0.20,GW192.168.0.100 | null | 真实服务器(RS) |
client | 172.25.254.111 | 测试机 |
注:
此实验要关闭火墙然后网页里要写内容
systemctl disable --now firewalld.service
echo 20 > /var/www/html/index.html
实验开始:
1.在lvs中启用内核路由功能
]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf]# sysctl --system
2.在node1中安装ipvsadm
]# yum install ipvsadm -y
3.在node1中添加调度策略
# ipvsadm -A -t 172.25.254.100:80 -s rr
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m
4.查看策略
ipvsadm -Ln
5.保存策略
ipvsadm -Sn
6.删除所有策略
ipvsadm -C
7.重新加载策略
]# ipvsadm -R < /etc/sysconfig/ipvsadm-config
]# ipvsadm -Ln
8.以上操作均为临时,如果想开机启动,就得设置
]# systemctl enable --now ipvsadm.service
9.测试:
for N in {1..6};do curl 172.25.254.100;done