1、群集

1.1群集的含义

由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名与IP地址），相当于一台大型计算机。

1.2 企业群集分类

负载均衡群集：提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能。LB的负载分配依赖于主节点的分流算法。

高可用群集：提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。HA的工作方式包括双工和主从两种模式。

高性能运算群集：提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力。高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。

1.3 负载均衡群集

1.3.1 负载均衡的结构

第一层，负载调度器（Load Balancer或Director）访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IР地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

第二层，服务器池（Server Pool）群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

第三层，共享存储（Share Storage）为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

1.3.2 负载均衡群集的三种工作模式

NAT模式：Network Address Translation，简称NAT模式。类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。

TUN模式：IP Tunnel，简称TUN模式。采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信。

DR模式：Direct Routing，简称DR模式。采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

2、LVS虚拟服务器

Linux Virtual Server：针对Linux内核的负载均衡解决方案。

2.1 LVS的负载均衡算法

轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。

加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多。保证性能强的服务器承担更多的访问流量。

最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。

加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。性能较高的节点将承担更大比例的活动连接负载。

2.2 LVS-DR工中的ARP问题

（1）在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，势必会造成各服务器ARP通信的紊乱当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。arp_ingore=1可以防止网关路由发送ARP广播时调度器和节点服务器进行响应，导致ARP缓存徐乱，不对非本地物理网卡IP的ARP请求进行响应。

（2）arp_annonuce=2：系统不使用响应数据包的源IP地址（VIP）来作为本机进行ARP请求报文的源IP地址，而使用发送报文的物理网卡IP地址作为ARP请求报文的源IP地址，这样就可以防止网关路由器接受到源IP地址为VIP的ARP请求报文后又更新ARP缓存表，导致外网再发送请求时，数据包到达不了调度器。

2.3 LVS -DR模式工作原理

2.3.1 数据包流向分析

1. 客户端 → Director（负载均衡器）

- 客户端发送请求到VIP（虚拟IP），数据包到达 Director Server内核空间。

2. Director → Real Server（真实服务器）

- Director 判断数据包目标IP为VIP，是集群服务请求，修改：

- 目标MAC：Real Server MAC

- 源MAC：Director Server MAC

- IP地址保持不变，发送到 Real Server。

3. Real Server 处理请求

- 接收报文（目标MAC为自身），通过lo接口配置VIP处理请求。

- 响应报文源IP为 VIP，目标IP为客户端（CIP），直接发送给客户端。

4. 客户端接收响应

- 响应报文不经过Director Server。

2.3.2 DR模式特点

Director Server 与 Real Server 必须在同一物理网络。

Real Server 可以使用私有或公网地址。

Director 仅作为请求入口，不作为网关。

所有请求经过 Director，响应直接由 Real Server 发送。

Real Server 的网关不能指向 Director Server。

Real Server 的lo接口配置 VIP。

3、LVS-DR模式部署

3.1 环境规划

3.1.1 服务器规划

DR服务器IP：192.168.17.155

Web服务器1 IP：192.168.17.157

Web服务器2 IP：192.168.17.158

vip：192.168.17.100

3.1.2 环境架构

3.2 配置负载调度器（Director Server）

环境部署

DR服务器IP：192.168.17.155

vip：192.168.17.100

（1）系统配置

#关闭防火墙及增强功能
systemctl stop firewalld.service 
systemctl stop iptables.service
setenforce 0 modprobe ip_vs            #加载LVS内核模块
yum -y install ipvsadm    #安装ipvsadm 管理工具

（2）配置虚拟IP

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
# 内容
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.17.100
NETMASK=255.255.255.255ifup ens33:0        #开启网卡
ifconfig ens33:0    #查看网卡

（3）调整内核参数

vim /etc/sysctl.conf
# 添加
net.ipv4.ip_forward = 0                    #禁用IPv4转发功能
net.ipv4.conf.all.send_redirects = 0       #对所有网卡禁用发送重定向
net.ipv4.conf.default.send_redirects = 0   #对新创建的网卡禁用
net.ipv4.conf.ens33.send_redirects = 0     #专门对ens33网卡禁用
sysctl -p                                  #加载配置并立即生效

（4）配置LVS服务及调度

#如果有报错文件不存在 需要先添加规则 在保存即可
ipvsadm-save > /etc/sysconfig/ipvsadm     #保存  导出ipvsadm-restore < /etc/sysconfig/ipvsadm   #恢复  systemctl start ipvsadm
ipvsadm -C                            #清空现有规则
ipvsadm -A -t 192.168.17.100:80 -s rr #创建LVS虚拟服务（VIP）
-A：添加虚拟服务 -t：指定服务类型为 TCP 协议 192.168.10.180:80： VIP（虚拟 IP）+ 端口
-s：指定 负载均衡调度算法 rr：Round Robin（轮询）
ipvsadm -a -t 192.168.17.100:80 -r 192.168.17.157:80 -g  #添加后端真实服务器（Real Server 1）
-a：给虚拟服务添加真实服务器 -t：关联的虚拟服务（VIP: 端口） -r：真实服务器的 IP -g：LVS为DR模式
ipvsadm -a -t 192.168.17.100:80 -r 192.168.17.158:80 -g  #添加后端真实服务器（Real Server 2）
ipvsadm -ln  # 查看节点状态，Route代表DR模式
ipvsadm-save > /etc/sysconfig/ipvsadm  # 保存到配置文件（持久化）

3.3 配置节点服务器（Real Server）

Web服务器1 IP：192.168.17.157

Web服务器2 IP：192.168.17.158

（1）配置VIP到lo接口

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
# 内容
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.17.100    #绑定的VIP（与LVS调度器的VIP一致，即客户端访问的入口IP）
NETMASK=255.255.255.255  #子网掩码必须设为255.255.255.255（仅本机可见的主机路由）ifup lo:0
ifconfig lo:0
route add -host 192.168.17.100 dev lo:0 # 为VIP添加一条主机路由，指定通过lo:0接口访问

（2）ARP参数调整，避免MAC冲突

vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1     禁锢路由
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p

（3）安装web服务

# 192.168.17.157
echo 'this is 192.168.17.157 web01!' >/usr/local/nginx/html/index.html# 192.168.17.158
echo 'this is 192.168.17.158 web02!' > /usr/local/nginx/html/index.html

3.4 测试LVS群集

在客户端浏览器访问：http://192.168.17.100/

4、LVS+Keepalived群集

4.1 概念与原理

4.1.1 Keepalived

基于VRRP协议实现高可用（HA）。

初衷是为 LVS负载均衡提供高可用方案，后来支持其他服务（如 Nginx、MySQL 等）。

功能：

1. LVS 集群管理

2. 节点健康检查（Health Check）

Keepalive可以通过在自身的Keepalive.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalive服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalive服务又会自动地把它们加入到正常转发队列中，对客户提供服务。

3. 故障自动切换（Failover）

Keepalive可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。

Keepalive高可用功能实现的简单原理为，两台主机同时安装好Keepalive软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

4. 高可用 VIP（虚拟 IP）接管

4.1.2 工作原理

① 基于VRRP协议： keepalived通过VRRP（虚拟路由冗余协议）来实现高可用，多台服务器组成的一个组，主服务器（master）负责对外提供虚拟IP地址（VIP），并且定时发送心跳包，当备服务器（backup）检测不到心跳时，会按优先级选举新的master,接管虚拟IP地址，主要就是保证服务不中断。
② 基于TCP/IP协议：keepalived 在IP层面上（ping）,TCP层（端口检测）和应用层（自定义脚本）对服务器健康状态进行检测，确保服务能正常的运行(可用性)。
③ 选举策略： keepalived通过优先级和权重来决定主备切换，支持用户手动配置或这脚本动态去配置，当主机故障或者新节点加入的时候，触发选举重新进行分配虚拟IP 实现自动接管。

4.1.3 Keepalived的主要模块

模块	功能
core	核心进程、配置文件加载解析
vrrp	VRRP 协议实现，高可用
check	健康检查，支持 TCP/HTTP/脚本检查

4.2 脑裂问题与防护

4.2.1 脑裂

当网络出现问题或者配置错误时，多个服务器都认为自己是主服务器，结果虚拟IP（VIP）冲突，导致服务器终端或者不稳定。

4.2.2 原因

1. 心跳线故障（断线、老化）

高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。

2. 网卡/驱动故障

因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。

3. 心跳网络设备故障

因心跳线间连接的设备故障（网卡及交换机）。

4. 仲裁机器异常

因仲裁的机器出问题

5. 防火墙阻挡 VRRP

高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。

6. 配置不一致（virtual_router_id、优先级、实例名）

Keepalive配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

7. vrrp实例名字不一致、优先级一致。

4.2.3 防护策略

健康检查、网路检测（ping）、延迟VIP切换、双心跳线冗余、脚本监控报警

4.3 部署步骤

4.3.1环境准备

主DR服务器IP：192.168.17.155

备DR服务器IP：192.168.17.156（在LVS-DR模式下新增）

Web服务器1 IP：192.168.17.157

Web服务器2 IP：192.168.17.158

vip：192.168.17.100

4.3.2 DR服务器操作

参考LVS-DR服务器配置

4.3.3 配置Keepalived

文件 /etc/keepalived/keepalived.confglobal_defs {router_id LVS_01        # MASTER 为 LVS_01，BACKUP 为 LVS_02smtp_server 127.0.0.1
}vrrp_instance VI_1 {state MASTER            # BACKUP 节点写 BACKUPinterface ens33         # 网卡名virtual_router_id 10    # BACKUP与BACKUP相同priority 100            # MASTER 高于 BACKUPadvert_int 1authentication {auth_type PASSauth_pass abc123}virtual_ipaddress {192.168.17.100}
}virtual_server 192.168.17.100 80 {delay_loop 6lb_algo rrlb_kind DRpersistence_timeout 50protocol TCPreal_server 192.168.17.157 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}real_server 192.168.17.158 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}