什么是Keepalived呢,keepalived觀其名可知,保持存活,在網絡里面就是 保持在線 了,也就是所謂的高可用或熱備,用來防止單點故障(單點故障是指一旦某一點出現故障就會導致整個系統架構的不可用)的發生, Keepalived通過請求一個vip來達到請求真是IP地址的功能,而VIP能夠在一臺機器發生故障時候,自動漂移到另外一臺機器上,從來達到了高可用HA功能。 那說到keepalived時不得不說的一個協議就是VRRP協議,可以說這個協議就是keepalived實現的基礎,那么首先我們來看看VRRP協議。
注:搞運維的要有足夠的耐心,不理解協議就很難透徹的掌握keepalived的了
一,VRRP協議
創新互聯專業為企業提供
安慶網站建設、安慶做網站、安慶網站設計、安慶網站制作等企業網站建設、網頁設計與制作、安慶企業網站模板建站服務,十載
安慶做網站經驗,不只是建網站,更提供有價值的思路和整體網絡服務。VRRP協議
學過網絡的朋友都知道,網絡在設計的時候必須考慮到冗余容災,包括線路冗余,設備冗余等,防止網絡存在單點故障,那在路由器或三層交換機處實現冗余就顯得尤為重要,在網絡里面有個協議就是來做這事的,這個協議就是VRRP協議,Keepalived就是巧用VRRP協議來實現高可用性(HA)的
VRRP協議有一篇文章寫的非常好,大家可以直接看這里(記得認真看看哦,后面基本都已這個為基礎的了)
帖子地址: http://bbs.ywlm.net/thread-790-1-1.html
只需要把服務器當作路由器即可!
在《 VRRP協議 》里講到了虛擬路由器的ID也就是VRID在這里比較重要
keepalived完全遵守VRRP協議,包括競選機制等等
二,Keepalived原理
Keepalived原理
keepalived也是模塊化設計,不同模塊復雜不同的功能,下面是keepalived的組件
core check vrrp libipfwc libipvs-2.4 libipvs-2.6
core:是keepalived的核心,復雜主進程的啟動和維護,全局配置文件的加載解析等
check:負責healthchecker(健康檢查),包括了各種健康檢查方式,以及對應的配置的解析包括LVS的配置解析
vrrp:VRRPD子進程,VRRPD子進程就是來實現VRRP協議的
libipfwc:iptables(ipchains)庫,配置LVS會用到
libipvs*:配置LVS會用到
注意,keepalived和LVS完全是兩碼事,只不過他們各負其責相互配合而已
keepalived啟動后會有三個進程
父進程:內存管理,子進程管理等等
子進程:VRRP子進程
子進程:healthchecker子進程
有圖可知,兩個子進程都被系統WatchDog看管,兩個子進程各自復雜自己的事,healthchecker子進程復雜檢查各自服務器的健康程度,例如HTTP,LVS等等,如果healthchecker子進程檢查到MASTER上服務不可用了,就會通知本機上的兄弟VRRP子進程,讓他刪除通告,并且去掉虛擬IP,轉換為BACKUP狀態
三,Keepalived配置文件詳解
keepalived配置詳解
keepalived有三類配置區域(姑且就叫區域吧),注意不是三種配置文件,是一個配置文件里面三種不同類別的配置區域
全局配置(Global Configuration)
VRRPD配置
LVS配置
一,全局配置
全局配置又包括兩個子配置:
全局定義(global definition)
靜態路由配置(static ipaddress/routes)
1,全局定義(global definition) 配置范例
global_defs
{
notification_email
{
admin@example.com
}
notification_email_from admin@example.com
smtp_server 127.0.0.1
stmp_connect_timeout 30
router_id node1
}
復制代碼
全局配置解析
global_defs全局配置標識,表面這個區域{}是全局配置
notification_email
{
admin@example.com
admin@ywlm.net
}
復制代碼
表示keepalived在發生諸如切換操作時需要發送email通知,以及email發送給哪些郵件地址,郵件地址可以多個,每行一個
notification_email_from admin@example.com
表示發送通知郵件時郵件源地址是誰
smtp_server 127.0.0.1
表示發送email時使用的smtp服務器地址,這里可以用本地的sendmail來實現
smtp_connect_timeout 30
連接smtp連接超時時間
router_id node1
機器標識
2,靜態地址和路由配置范例
static_ipaddress
{
192.168.1.1/24 brd + dev eth0 scope global
192.168.1.2/24 brd + dev eth1 scope global
}
static_routes
{
src $SRC_IP to $DST_IP dev $SRC_DEVICE
src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
}
復制代碼
這里實際上和系統里面命令配置IP地址和路由一樣例如:
192.168.1.1/24 brd + dev eth0 scope global 相當于: ip addr add 192.168.1.1/24 brd + dev eth0 scope global
就是給eth0配置IP地址
路由同理
一般這個區域不需要配置
這里實際上就是給服務器配置真實的IP地址和路由的,在復雜的環境下可能需要配置, 一般不會用這個來配置 ,我們可以直接用vi /etc/sysconfig/network-script/ifcfg-eth1來配置,切記這里可不是VIP哦,不要搞混淆了,切記切記!
二,VRRPD配置
VRRPD配置包括三個類
VRRP同步組(synchroization group)
VRRP實例(VRRP Instance) VRRP腳本
1,VRRP同步組(synchroization group)配置范例
vrrp_sync_group VG_1 {
group {
http
mysql
}
notify_master /path/to/to_master.sh
notify_backup /path_to/to_backup.sh
notify_fault "/path/fault.sh VG_1"
notify /path/to/notify.sh
smtp_alert
}
復制代碼
其中:
http和mysql是實例名和下面的實例名一致
notify_master /path/to/to_master.sh:表示當切換到master狀態時,要執行的腳本
notify_backup /path_to/to_backup.sh:表示當切換到backup狀態時,要執行的腳本
notify_fault "/path/fault.sh VG_1"
復制代碼
notify /path/to/notify.sh:
smtp alter表示切換時給global defs中定義的郵件地址發送右鍵通知
2,VRRP實例(instance) 配置范例
vrrp_instance http {
state MASTER
interface eth0
dont_track_primary
track_interface {
eth0
eth1
}
mcast_src_ip <IPADDR>
garp_master_delay 10
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
autp_pass 1234
}
virtual_ipaddress {
#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
192.168.200.17/24 dev eth1
192.168.200.18/24 dev eth2 label eth2:1
}
virtual_routes {
# src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
192.168.110.0/24 via 192.168.200.254 dev eth1
192.168.111.0/24 dev eth2
192.168.112.0/24 via 192.168.100.254
}
nopreempt
preemtp_delay 300
debug
}
復制代碼
state: state指定instance(Initial)的初始狀態,就是說在配置好后,這臺服務器的初始狀態就是這里指定的,但這里指定的不算,還是得要通過競選通過優先級來確定,里如果這里設置為master,但如若他的優先級不及另外一臺,那么這臺在發送通告時,會發送自己的優先級,另外一臺發現優先級不如自己的高,那么他會就回搶占為master
interface: 實例綁定的網卡,因為在配置虛擬IP的時候必須是在已有的網卡上添加的
dont track primary: 忽略VRRP的interface錯誤
track interface: 跟蹤接口,設置額外的監控,里面任意一塊網卡出現問題,都會進入故障(FAULT)狀態,例如,用nginx做均衡器的時候,內網必須正常工作,如果內網出問題了,這個均衡器也就無法運作了,所以必須對內外網同時做健康檢查
mcast src ip: 發送多播數據包時的源IP地址,這里注意了,這里實際上就是在那個地址上發送VRRP通告,這個非常重要,一定要選擇穩定的網卡端口來發送,這里相當于heartbeat的心跳端口,如果沒有設置那么就用默認的綁定的網卡的IP,也就是interface指定的IP地址
garp master delay: 在切換到master狀態后,延遲進行免費的ARP(gratuitous ARP)請求
virtual router id: 這里設置VRID,這里非常重要,相同的VRID為一個組,他將決定多播的MAC地址
priority 100: 設置本節點的優先級,優先級高的為master
advert int: 檢查間隔,默認為1秒
virtual ipaddress: 這里設置的就是VIP,也就是虛擬IP地址,他隨著state的變化而增加刪除,當state為master的時候就添加,當state為backup的時候刪除,這里主要是有優先級來決定的,和state設置的值沒有多大關系,這里可以設置多個IP地址
virtual routes: 原理和virtual ipaddress一樣,只不過這里是增加和刪除路由
lvs sync daemon interface: lvs syncd綁定的網卡
authentication: 這里設置認證
auth type: 認證方式,可以是PASS或AH兩種認證方式
auth pass: 認證密碼
nopreempt: 設置不搶占,這里只能設置在state為backup的節點上,而且這個節點的優先級必須別另外的高
preempt delay: 搶占延遲
debug: debug級別
notify master: 和sync group這里設置的含義一樣,可以單獨設置,例如不同的實例通知不同的管理人員,http實例發給網站管理員,mysql的就發郵件給DBA
3,VRRP腳本
vrrp_script check_running {
script "/usr/local/bin/check_running"
interval 10
weight 10
}
vrrp_instance http {
state BACKUP
smtp_alert
interface eth0
virtual_router_id 101
priority 90
advert_int 3
authentication {
auth_type PASS
auth_pass whatever
}
virtual_ipaddress {
1.1.1.1
}
track_script {
check_running weight 20
}
}
復制代碼
首先在vrrp_script區域定義腳本名字和腳本執行的間隔和腳本執行的優先級變更
vrrp_script check_running { script "/usr/local/bin/check_running" interval 10 #腳本執行間隔 weight 10 #腳本結果導致的優先級變更:10表示優先級+10;-10則表示優先級-10 } 然后在 實例 ( vrrp_instance )里面引用,有點類似腳本里面的函數引用一樣:先定義,后引用函數名
track_script {
check_runningweight 20
}
注意:VRRP腳本(vrrp_script)和VRRP實例( vrrp_instance )屬于同一個級別
LVS配置
如果你沒有配置LVS+keepalived那么無需配置這段區域,里如果你用的是nginx來代替LVS,這無限配置這款,這里的LVS配置是專門為keepalived+LVS集成準備的。
注意了,這里LVS配置并不是指真的安裝LVS然后用ipvsadm來配置他,而是用keepalived的配置文件來代替ipvsadm來配置LVS,這樣會方便很多,一個配置文件搞定這些,維護方便,配置方便是也!
這里LVS配置也有兩個配置
一個是虛擬主機組配置
一個是虛擬主機配置
1,虛擬主機組配置文件詳解
這個配置是可選的,根據需求來配置吧,這里配置主要是為了讓一臺realserver上的某個服務可以屬于多個Virtual Server,并且只做一次健康檢查
virtual_server_group <STRING> {
# VIP port
<IPADDR> <PORT>
<IPADDR> <PORT>
fwmark <INT>
}
2,虛擬主機配置
virtual server可以以下面三種的任意一種來配置
1. virtual server IP port
2. virtual server fwmark int
3. virtual server group string
復制代碼
下面以第一種比較常用的方式來配詳細解說一下
virtual_server 192.168.1.2 80 { #設置一個virtual server: VIP:Vport
delay_loop 3 # service polling的delay時間,即服務輪詢的時間間隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #LVS調度算法
lb_kind NAT|DR|TUN #LVS集群模式
persistence_timeout 120 #會話保持時間(秒為單位),即以用戶在120秒內被分配到同一個后端realserver
persistence_granularity <NETMASK> #LVS會話保持粒度,ipvsadm中的-M參數,默認是0xffffffff,即每個客戶端都做會話保持
protocol TCP #健康檢查用的是TCP還是UDP
ha_suspend #suspendhealthchecker’s activity
virtualhost <string> #HTTP_GET做健康檢查時,檢查的web服務器的虛擬主機(即host:頭)
sorry_server <IPADDR> <PORT> #備用機,就是當所有后端realserver節點都不可用時,就用這里設置的,也就是臨時把所有的請求都發送到這里啦
real_server <IPADDR> <PORT> #后端真實節點主機的權重等設置,主要,后端有幾臺這里就要設置幾個
{
weight 1 #給每臺的權重,0表示失效(不知給他轉發請求知道他恢復正常),默認是1
inhibit_on_failure #表示在節點失敗后,把他權重設置成0,而不是沖IPVS中刪除
notify_up <STRING> | <QUOTED-STRING>#檢查服務器正常(UP)后,要執行的腳本
notify_down <STRING> | <QUOTED-STRING> #檢查服務器失敗(down)后,要執行的腳本
HTTP_GET #健康檢查方式
{
url { #要堅持的URL,可以有多個
path / #具體路徑
digest <STRING>
status_code 200 #返回狀態碼
}
connect_port 80 #監控檢查的端口
bindto <IPADD> #健康檢查的IP地址
connect_timeout 3 #連接超時時間
nb_get_retry 3 #重連次數
delay_before_retry 2 #重連間隔
} # END OF HTTP_GET|SSL_GET
#下面是常用的健康檢查方式,健康檢查方式一共有HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK這些
#TCP方式
TCP_CHECK {
connect_port 80
bindto 192.168.1.1
connect_timeout 4
} # TCP_CHECK
# SMTP方式 ,這個可以用來給郵件服務器做集群
SMTP_CHECK
host {
connect_ip <IP ADDRESS>
connect_port <PORT> #默認檢查25端口
14 KEEPALIVED
bindto <IP ADDRESS>
}
connect_timeout <INTEGER>
retry <INTEGER>
delay_before_retry <INTEGER>
# "smtp HELO"?|·- ?ê§?à "
helo_name <STRING>|<QUOTED-STRING>
} #SMTP_CHECK
#MISC方式 ,這個可以用來檢查很多服務器只需要自己會些腳本即可
MISC_CHECK
{
misc_path <STRING>|<QUOTED-STRING> #外部程序或腳本
misc_timeout <INT> #腳本或程序執行超時時間
misc_dynamic #這個就很好用了,可以非常精確的來調整權重,是后端每天服務器的壓力都能均衡調配,這個主要是通過執行的程序或腳本返回的狀態代碼來動態調整weight值,使權重根據真實的后端壓力來適當調整,不過這需要有過硬的腳本功夫才行哦
#返回0:健康檢查沒問題,不修改權重
#返回1:健康檢查失敗,權重設置為0
#返回2-255:健康檢查沒問題,但是權重卻要根據返回代碼修改為 返回碼-2 ,例如如果程序或腳本執行后返回的代碼為200,#那么權重這回被修改為 200-2
}
} # Realserver
} # Virtual Server
配置文件到此就講完了,下面是一份未加備注的完整配置文件
global_defs
{
notification_email
{
admin@example.com
}
notification_email_from admin@example.com
smtp_server 127.0.0.1
stmp_connect_timeout 30
router_id node1
}
notification_email
{
admin@example.com
admin@ywlm.net
}
static_ipaddress
{
192.168.1.1/24 brd + dev eth0 scope global
192.168.1.2/24 brd + dev eth1 scope global
}
static_routes
{
src $SRC_IP to $DST_IP dev $SRC_DEVICE
src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
}
vrrp_sync_group VG_1 {
group {
http
mysql
}
notify_master /path/to/to_master.sh
notify_backup /path_to/to_backup.sh
notify_fault "/path/fault.sh VG_1"
notify /path/to/notify.sh
smtp_alert
}
group {
http
mysql
}
vrrp_script check_running {
script "/usr/local/bin/check_running"
interval 10
weight 10
}
vrrp_instance http {
state MASTER
interface eth0
dont_track_primary
track_interface {
eth0
eth1
}
mcast_src_ip <IPADDR>
garp_master_delay 10
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
autp_pass 1234
}
virtual_ipaddress {
#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
192.168.200.17/24 dev eth1
192.168.200.18/24 dev eth2 label eth2:1
}
virtual_routes {
# src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
192.168.110.0/24 via 192.168.200.254 dev eth1
192.168.111.0/24 dev eth2
192.168.112.0/24 via 192.168.100.254
}
track_script {
check_running weight 20
}
nopreempt
preemtp_delay 300
debug
}
virtual_server_group <STRING> {
# VIP port
<IPADDR> <PORT>
<IPADDR> <PORT>
fwmark <INT>
}
virtual_server 192.168.1.2 80 {
delay_loop 3
lb_algo rr|wrr|lc|wlc|lblc|sh|dh
lb_kind NAT|DR|TUN
persistence_timeout 120
persistence_granularity <NETMASK>
protocol TCP
ha_suspend
virtualhost <string>
sorry_server <IPADDR> <PORT>
real_server <IPADDR> <PORT>
{
weight 1
inhibit_on_failure
notify_up <STRING> | <QUOTED-STRING>
notify_down <STRING> | <QUOTED-STRING>
#HTTP_GET方式
HTTP_GET | SSL_GET
{
url {
path /
digest <STRING>
status_code 200
}
connect_port 80
bindto <IPADD>
connect_timeout 3
nb_get_retry 3
delay_before_retry 2
}
}
}
復制代碼
注意,這里僅僅是羅列,并不是可用的配置文件。里面需要根據自己的時間情況稍加配置才能用。
環境配置:
172.31.2.31(安裝keepalived)(實例配置里面的VIP為172.31.2.100)
172.31.2.32(安裝keepalived)(實例配置里面的VIP為172.31.2.100)
注:
本次實驗中,必須能讓上述兩臺機器的keepalived能夠通信(增加相應iptables規則或者臨時實驗關閉iptables -F)
兩臺機器需要時間同步:簡單起見都執行: ntpdatecn.pool.ntp.org
keepalived的日志默認在: tailf/var/log/messages
上述兩臺機器都需要安裝keepalived:
yum install keepalived -y
配置主節點:172.31.2.31
vim /etc/keepalived/keepalived.conf
配置從節點:172.31.2.32
vim /etc/keepalived/keepalived.conf
主從節點都必須有的檢測haproxy服務狀態的文件(注:該文件必須有可執行權限!!!):
解釋腳本:
#!/bin/bash
if[$(ps-Chaproxy--no-header|wc-l)-eq0];then###判斷haproxy是否已經啟動
systemctlstarthaproxy###如果沒有啟動,則啟動haproxy程序
fi
sleep2###睡眠兩秒鐘,等待haproxy完全啟動
if[$(ps-Chaproxy--no-header|wc-l)-eq0];then###判斷haproxy是否已經啟動
systemctlstopkeepalived###如果haproxy沒有啟動起來,則將keepalived停掉,則VIP
自動漂移到另外一臺haproxy機器,實現了對haproxy的高可用
fi
注:有上述腳本可以看出,每次啟動keepalived的同時,第一件事,就是先啟動haproxy。
接下來測試VIP漂移:
此時為初始狀態即keepalived和haproxy服務都沒有啟動。
首先 在主從節點分別查看eth0網卡情況:
主節點172.31.2.31:
從節點172.31.2.32:
在從節點172.31.2.32上啟動keepalived,在查看eth0網卡 (在啟動keepalived的同時,首先會將haproxy啟動)
這樣我們可以通過請求172.31.2.100來達到直接訪問172.31.2.32的目的(因為172.31.2.100是VIP,請求VIP則會自動將之轉發到172.31.2.32):
上述在從節點啟動keepalived完成。(VIP安裝預期綁定到了eth0網卡)。
那么接下來實現將主節點172.31.2.31上的keepalived啟動起來:
預測:由于172.31.2.31上配置的主節點的優先級比從節點高,因此,啟動主節點的keepalived,則從節點上面172.31.2.100的VIP應該自動刪除,漂移到主節點:
正常推測此時從節點的VIP應該不在了:
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源:
創新互聯