haproxy keepalived實現高可用負載均衡(理論篇)

haproxy keepalived實現高可用負載均衡(理論篇)

HAProxy相比LVS的使用要簡單很多,功能方面也很豐富。當 前,HAProxy支援兩種主要的代理模式:”tcp”也即4層(大多用於郵件伺服器、內部協議通訊伺服器等),和7層(HTTP)。在4層模式 下,HAProxy僅在客戶端和伺服器之間轉發雙向流量。7層模式下,HAProxy會分析協議,並且能通過允許、拒絕、交換、增加、修改或者刪除請求 (request)或者回應(response)裡指定內容來控制協議,這種操作要基於特定規則。

我現在用HAProxy主要在於它有以下優點,這裡我總結下:

一、免費開源,穩定性也是非常好,這個可通過我做的一些小專案可以看出來,單Haproxy也跑得不錯,穩定性可以與LVS相媲美;
二、根據官方文件,HAProxy可以跑滿10Gbps-New benchmark of HAProxy at 10 Gbps using Myricom’s 10GbE NICs (Myri-10G PCI-Express),這個作為軟體級負載均衡,也是比較驚人的;
三、HAProxy可以作為MySQL、郵件或其它的非web的負載均衡,我們常用於它作為MySQL(讀)負載均衡;
四、自帶強大的監控伺服器狀態的頁面,實際環境中我們結合Nagios進行郵件或簡訊報警,這個也是我非常喜歡它的原因之一;
五、HAProxy支援虛擬主機。

在做反向代理伺服器的負載均衡時,我們通常會使用nginx的均衡配置。其實,haproxy的負載均衡也是屬於這一類的。那麼關於這方面的配置過程我們現在來進行一下講解。首先,對haproxy進行一個簡單的介紹,之後就是安裝和配置環節了。

HAProxy介紹

反向代理伺服器,支援雙機熱備支援虛擬主機,但其配置簡單,擁有非常不錯的伺服器健康檢查功能,當其代理的後端伺服器出現故障, HAProxy會自動將該伺服器摘除,故障恢復後再自動將該伺服器加入。新的1.3引入了frontend,backend;frontend根據任意 HTTP請求頭內容做規則匹配,然後把請求定向到相關的backend.
http://blog.liuts.com/post/223/ (搭建四層負載均衡器)
http://rfyimcool.blog.51cto.com/1030776/413187 (搭建七層負載均衡器)

keepalived簡介  

http://www.keepalived.org
keepalived是一個類似於layer3, 4 & 5交換機制的軟體,也就是我們平時說的第3層、第4層和第5層交換。Keepalived的作用是檢測web伺服器的狀態,如果有一臺web伺服器宕機,或工作出現故障,Keepalived將檢測到,並將有故障的web伺服器從系統中剔除,當web伺服器工作正常後Keepalived自動將web伺服器加入到伺服器群中,這些工作全部自動完成,不需要人工干涉,需要人工做的只是修復故障的web伺服器。

類似的HA工具還有heatbeat、drbd等,heatbeat、drbd配置都較為複雜。

keepalived理論工作原理

keepalived可提供vrrp以及health-check功能,可以只用它提供雙機浮動的vip(vrrp虛擬路由功能),這樣可以簡單實現一個雙機熱備高可用功能。
keepalived是一個類似於layer3, 4 & 5交換機制的軟體,也就是我們平時說的第3層、第4層和第5層交換。Keepalived的作用是檢測web 伺服器的狀態。 Layer3,4&5工作在IP/TCP協議棧的IP層,TCP層,及應用層,原理分別如下:

  Layer3:Keepalived使用Layer3的方式工作式時,Keepalived會定期向伺服器群中的伺服器

  傳送一個ICMP的資料包(既我們平時用的Ping程式),如果發現某臺服務的IP地址沒有啟用,Keepalived便報告這臺伺服器失效,並將它從伺服器群中剔除,這種情況的典型例子是某臺伺服器被非法關機。Layer3的方式是以伺服器的IP地址是否有效作為伺服器工作正常與否的標準。在本文中將採用這種方式。

  Layer4:如果您理解了Layer3的方式,Layer4就容易了。Layer4主要以TCP埠的狀態來決定伺服器工作正常與否。如web server的服務埠一般是80,如果Keepalived檢測到80埠沒有啟動,則Keepalived將把這臺伺服器從伺服器群中剔除。

  Layer5:Layer5就是工作在具體的應用層了,比Layer3,Layer4要複雜一點,在網路上佔用的頻寬也要大一些。Keepalived將根據使用者的設定檢查伺服器程式的執行是否正常,如果與使用者的設定不相符,則Keepalived將把伺服器從伺服器群中剔除。

vip即虛擬ip,是附在主機網絡卡上的,即對主機網絡卡進行虛擬,此IP仍然是佔用了此網段的某個IP。

keepalived作用

  隨著你的網站業務量的增長你網站的伺服器壓力越來越大?需要負載均衡方案!商業的硬體如F5又太貴,你們又是創業型互聯公司如何有效節約成本,節省不必要的浪費?同時實現商業硬體一樣的高效能高可用的功能?有什麼好的負載均衡可伸張可擴充套件的方案嗎?答案是肯定的!有!我們利用 LVS Keepalived基於完整開源軟體的架構可以為你提供一個負載均衡及高可用的伺服器。

  LVS Keepalived 介紹

  LVS

  LVS是Linux Virtual Server的簡寫,意即Linux虛擬伺服器,是一個虛擬的伺服器叢集系統。本專案在1998年5月由章文嵩博士成立,是中國國內最早出現的自由軟體專案之一.目前有三種IP負載均衡技術(VS/NAT、VS/TUN和VS/DR)八種排程演算法(rr,wrr,lc,wlc,lblc,lblcr,dh,sh)。

  Keepalvied

  Keepalived在這裡主要用作RealServer的健康狀態檢查以及LoadBalance主機和BackUP主機之間failover的實現。keepalived簡介  keepalived是一個類似於layer3, 4 & 5交換機制的軟體,也就是我們平時說的第3層、第4層和第5層交換。Keepalived的作用是檢測web伺服器的狀態,如果有一臺web伺服器宕機,或工作出現故障,Keepalived將檢測到,並將有故障的web伺服器從系統中剔除,當web伺服器工作正常後Keepalived自動將web伺服器加入到伺服器群中,這些工作全部自動完成,不需要人工干涉,需要人工做的只是修復故障的web伺服器。

Keepalived介紹

Keepalived是一個基於VRRP協議來實現的WEB 服務高可用方案,可以利用其來避免單點故障。一個WEB服務至少會有2臺伺服器執行Keepalived,一臺為主伺服器(MASTER),一臺為備份伺服器(BACKUP),但是對外表現為一個虛擬IP,主伺服器會傳送特定的訊息給備份伺服器,當備份伺服器收不到這個訊息的時候,即主伺服器宕機的時候,備份伺服器就會接管虛擬IP,繼續提供服務,從而保證了高可用性。

1       ————-VIP(192.168.0.7)——————

2       |                                   |                           |  

3       |                                   |                           |  

4 server(MASTER) <—-keepalived—-> server(BACKUP)

5  (192.168.0.1)                                      (192.168.0.2)

keepalived是VRRP的完美實現,因此在介紹keepalived之前,先介紹一下VRRP的原理。

VRRP協議簡介

在現實的網路環境中,兩臺需要通訊的主機大多數情況下並沒有直接的物理連線。對於這樣的情況,它們之間路由怎樣選擇?主機如何選定到達目的主機的下一跳路由,這個問題通常的解決方法有二種:

·        在主機上使用動態路由協議(RIP、OSPF等)

·        在主機上配置靜態路由

很明顯,在主機上配置路態路由是非常不切實際的,因為管理、維護成本以及是否支援等諸多問題。配置靜態路由就變得十分流行,但路由器(或者說預設閘道器default gateway)卻經常成為單點。

VRRP的目的就是為了解決靜態路由單點故障問題。

VRRP通過一競選(election)協議來動態的將路由任務交給LAN中虛擬路由器中的某臺VRRP路由器。

工作機制

在一個VRRP虛擬路由器中,有多臺物理的VRRP路由器,但是這多臺的物理的機器並不能同時工作,而是由一臺稱為MASTER的負責路由工作,其它的都是BACKUP,MASTER並非一成不變,VRRP讓每個VRRP路由器參與競選,最終獲勝的就是MASTER。MASTER擁有一些特權,比如 擁有虛擬路由器的IP地址,我們的主機就是用這個IP地址作為靜態路由的。擁有特權的MASTER要負責轉發傳送給閘道器地址的包和響應ARP請求。

VRRP通過競選協議來實現虛擬路由器的功能,所有的協議報文都是通過IP多播(multicast)包(多播地址 224.0.0.18)形式傳送的。虛擬路由器由VRID(範圍0-255)和一組IP地址組成,對外表現為一個周知的MAC地址。所以,在一個虛擬路由 器中,不管誰是MASTER,對外都是相同的MAC和IP(稱之為VIP)。客戶端主機並不需要因為MASTER的改變而修改自己的路由配置,對他們來 說,這種主從的切換是透明的。

在一個虛擬路由器中,只有作為MASTER的VRRP路由器會一直髮送VRRP廣告包(VRRPAdvertisement message),BACKUP不會搶佔MASTER,除非它的優先順序(priority)更高。當MASTER不可用時(BACKUP收不到廣告包), 多臺BACKUP中優先順序最高的這臺會被搶佔為MASTER。這種搶佔是非常快速的(<1s),以保證服務的連續性。

由於安全性考慮,VRRP包使用了加密協議進行加密。

vrrp簡介
隨著Internet的迅猛發展,基於網路的應用逐漸增多。這就對網路的可靠性提出了越來越高的要求。斥資對所有網路裝置進行更新當然是一種很好的可靠性解決方案;但本著保護現有投資的角度考慮,可以採用廉價冗餘的思路,在可靠性和經濟性方面找到平衡點。

  虛擬路由冗餘協議就是一種很好的解決方案。在該協議中,對共享多存取訪問介質(如乙太網)上終端IP裝置的預設閘道器(Default Gateway)進行冗餘備份,從而在其中一臺路由裝置宕機時,備份路由裝置及時接管轉發工作,向使用者提供透明的切換,提高了網路服務質量。 

一、協議概述

  在基於TCP/IP協議的網路中,為了保證不直接物理連線的裝置之間的通訊,必須指定路由。目前常用的指定路由的方法有兩種:一種是通過路由協議(比如:內部路由協議RIP和OSPF)動態學習;另一種是靜態配置。在每一個終端都執行動態路由協議是不現實的,大多客戶端作業系統平臺都不支援動態路由協議,即使支援也受到管理開銷、收斂度、安全性等許多問題的限制。因此普遍採用對終端IP裝置靜態路由配置,一般是給終端裝置指定一個或者多個預設閘道器(Default Gateway)。靜態路由的方法簡化了網路管理的複雜度和減輕了終端裝置的通訊開銷,但是它仍然有一個缺點:如果作為預設閘道器的路由器損壞,所有使用該閘道器為下一跳主機的通訊必然要中斷。即便配置了多個預設閘道器,如不重新啟動終端裝置,也不能切換到新的閘道器。採用虛擬路由冗餘協議 (Virtual Router Redundancy Protocol,簡稱VRRP)可以很好的避免靜態指定閘道器的缺陷。

  在VRRP協議中,有兩組重要的概念:VRRP路由器和虛擬路由器,主控路由器和備份路由器。VRRP路由器是指執行VRRP的路由器,是物理實體,虛擬路由器是指VRRP協議建立的,是邏輯概念。一組VRRP路由器協同工作,共同構成一臺虛擬路由器。該虛擬路由器對外表現為一個具有唯一固定IP地址和MAC地址的邏輯路由器。處於同一個VRRP組中的路由器具有兩種互斥的角色:主控路由器和備份路由器,一個VRRP組中有且只有一臺處於主控角色的路由器,可以有一個或者多個處於備份角色的路由器。VRRP協議使用選擇策略從路由器組中選出一臺作為主控,負責ARP相應和轉發IP資料包,組中的其它路由器作為備份的角色處於待命狀態。當由於某種原因主控路由器發生故障時,備份路由器能在幾秒鐘的時延後升級為主路由器。由於此切換非常迅速而且不用改變IP地址和MAC地址,故對終端使用者系統是透明的。 

二、工作原理

  一個VRRP路由器有唯一的標識:VRID,範圍為0—255。該路由器對外表現為唯一的虛擬MAC地址,地址的格式為00-00-5E-00-01-[VRID]。主控路由器負責對ARP請求用該MAC地址做應答。這樣,無論如何切換,保證給終端裝置的是唯一一致的IP和MAC地址,減少了切換對終端裝置的影響。

  VRRP控制報文只有一種:VRRP通告(advertisement)。它使用IP多播資料包進行封裝,組地址為224.0.0.18,釋出範圍只限於同一區域網內。這保證了VRID在不同網路中可以重複使用。為了減少網路頻寬消耗只有主控路由器才可以週期性的傳送VRRP通告報文。備份路由器在連續三個通告間隔內收不到VRRP或收到優先順序為0的通告後啟動新的一輪VRRP選舉。

  在VRRP路由器組中,按優先順序選舉主控路由器,VRRP協議中優先順序範圍是0—255。若VRRP路由器的IP地址和虛擬路由器的介面IP地址相同,則稱該虛擬路由器作VRRP組中的IP地址所有者;IP地址所有者自動具有最高優先順序:255。優先順序0一般用在IP地址所有者主動放棄主控者角色時使用。可配置的優先順序範圍為1—254。優先順序的配置原則可以依據鏈路的速度和成本、路由器效能和可靠性以及其它管理策略設定。主控路由器的選舉中,高優先順序的虛擬路由器獲勝,因此,如果在VRRP組中有IP地址所有者,則它總是作為主控路由的角色出現。對於相同優先順序的候選路由器,按照IP地址大小順序選舉。VRRP還提供了優先順序搶佔策略,如果配置了該策略,高優先順序的備份路由器便會剝奪當前低優先順序的主控路由器而成為新的主控路由器。

  為了保證VRRP協議的安全性,提供了兩種安全認證措施:明文認證和IP頭認證。明文認證方式要求:在加入一個VRRP路由器組時,必須同時提供相同的VRID和明文密碼。適合於避免在區域網內的配置錯誤,但不能防止通過網路監聽方式獲得密碼。IP頭認證的方式提供了更高的安全性,能夠防止報文重放和修改等攻擊。

三、 應用例項

  最典型的VRRP應用:RTA、RTB組成一個VRRP路由器組,假設RTB的處理能力高於RTA,則將RTB配置成IP地址所有者,H1、H2、H3的預設閘道器設定為RTB。則RTB成為主控路由器,負責ICMP重定向、ARP應答和IP報文的轉發;一旦RTB失敗,RTA立即啟動切換,成為主控,從而保證了對客戶透明的安全切換。

  在VRRP應用中,RTA線上時RTB只是作為後備,不參與轉發工作,閒置了路由器RTA和鏈路L1。通過合理的網路設計,可以到達備份和負載分擔雙重效果。讓RTA、RTB同時屬於互為備份的兩個VRRP組:在組1中RTA為IP地址所有者;組2中RTB為IP地址所有者。將H1的預設閘道器設定為RTA;H2、H3的預設閘道器設定為RTB。這樣,既分擔了裝置負載和網路流量,又提高了網路可靠性。

  VRRP協議的工作機理與CISCO公司的HSRP(Hot Standby Routing Protocol)有許多相似之處。但二者主要的區別是在CISCO的HSRP中,需要單獨配置一個IP地址作為虛擬路由器對外體現的地址,這個地址不能是組中任何一個成員的介面地址。

  使用VRRP協議,不用改造目前的網路結構,最大限度保護了當前投資,只需最少的管理費用,卻大大提升了網路效能,具有重大的應用價值。

===================================================================================
keepalive的簡單應用——管理VIP的飄動
from:http://www.cnblogs.com/killkill/archive/2010/12/31/1922360.html

VIP的飄動可以為我們解決很多問題,以前我試過使用ifup/ifdown的方式控制網絡卡的up/down來實現,這種方式有個小問題,就是每次VIP 飄動之後都要等上幾十秒才能生效,感覺時間比較長,而且還要配合一些邏輯指令碼才能很好地工作,有沒有更好的方法呢?當然有,這就是本文的主角—— keepalived。

安裝很簡單:
複製程式碼 程式碼如下:
 tar zxvf keepalived-1.1.20.tar.gz  
 cd keepalived-1.1.20
 ./configure –prefix=/
make
make install

修改一下 /etc/keepalived/keepalived.conf 這個配置檔案就可以用了,以下是我的環境,192.168.10.141和192.168.10.142是兩個VIP,可以在兩臺伺服器之間飄動:

 

主機的配置:
複製程式碼 程式碼如下:
 global_defs {
    notification_email {
      [email protected]
    }
    notification_email_from [email protected]
    smtp_server 192.168.0.48
    smtp_connect_timeout 10
    router_id nginx
 }

 vrrp_instance VI_141 {
     state BACKUP
     interface eth0
     virtual_router_id 141
     priority 50
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 141
     }
     virtual_ipaddress {
         192.168.10.141/26 dev eth0
     }
 }

 vrrp_instance VI_142 {
     state BACKUP
     interface eth0
     virtual_router_id 142
     priority 100
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 142
     }
     virtual_ipaddress {
         192.168.10.142/26 dev eth0
     }
 }

備機的配置:
複製程式碼 程式碼如下:
 global_defs {
    notification_email {
      [email protected]
    }
    notification_email_from [email protected]
    smtp_server 10.168.0.48
    smtp_connect_timeout 10
    router_id nginx
 }

 vrrp_instance VI_141 {
     state BACKUP
     interface eth0
     virtual_router_id 141
     priority 100
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 141
     }
     virtual_ipaddress {
         192.168.10.141/26 dev eth0
     }
 }

 vrrp_instance VI_142 {
     state BACKUP
     interface eth0
     virtual_router_id 142
     priority 50
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 142
     }
     virtual_ipaddress {
         192.168.10.142/26 dev eth0
     }
 }

乍一看,主機和備機的配置檔案是一樣的,仔細看一下priority的值,使用以下命令即可將keepalived加入linux的服務中:

複製程式碼 程式碼如下:chkconfig –add keepalived ;
通過啟、停keepalived這個服務即可觀察到VIP的飄動,至於為什麼VIP飄動後可以很快地生效,還有待研究。

haproxy keepalived實現高可用負載均衡
我的環境:
haproxy keepalived 主:192.168.1.192
haproxy keepalived 備:192.168.1.193
vip:192.168.1.200
web:192.168.1.187:80 192.168.1.187:8000

一:安裝過程,在192.168.1.192上:

keepalived的安裝:
複製程式碼 程式碼如下:
#tar -zxvf keepalived-1.1.17.tar.gz
#ln -s /usr/src/kernels/2.6.18-128.el5-i686/ /usr/src/linux
#cd keepalived-1.1.17
#./configure –prefix=/ –mandir=/usr/local/share/man/ –with-kernel-dir=/usr/src/kernels/2.6.18-128.el5-i686/
#make && make install
#cd /etc/keepalived/
#mv keepalived.conf keepalived.conf.default
#vi keepalived.conf
! Configuration File for keepalived

vrrp_script chk_http_port {
script “/etc/keepalived/check_haproxy.sh”
interval 2
weight 2

global_defs {
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER #192.168.1.193上改為BACKUP
interface eth0
virtual_router_id 51
priority 150 #192.168.1.193上改為120
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}

track_script {
chk_http_port
}

virtual_ipaddress {
192.168.1.200
}
}
}

#vi /etc/keepalived/check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy –no-header |wc -l`
if [ $A -eq 0 ];then
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg
sleep 3
if [ `ps -C haproxy –no-header |wc -l` -eq 0 ];then
/etc/init.d/keepalived stop
fi
fi
#chmod 755 /etc/keepalived/check_haproxy.sh

haproxy的安裝(主備都一樣):
複製程式碼 程式碼如下:
#tar -zxvf haproxy-1.4.9.tar.gz
#cd haproxy-1.4.9
#make TARGET=linux26 PREFIX=/usr/local/haproxy install
#cd /usr/local/haproxy/
#mkdir conf logs
#cd conf
#vi haproxy.cfg
global
log 127.0.0.1 local3 info
maxconn 4096
user nobody
group nobody
daemon
nbproc 1
pidfile /usr/local/haproxy/logs/haproxy.pid

defaults
maxconn 2000
contimeout 5000
clitimeout 30000
srvtimeout 30000
mode http
log global
log 127.0.0.1 local3 info
stats uri /admin?stats
option forwardfor

frontend http_server
bind :80
log global
default_backend info_cache
acl test hdr_dom(host) -i test.domain.com
use_backend cache_test if test

backend info_cache
#balance roundrobin
balance source
option httpchk HEAD /haproxy.txt HTTP/1.1\r\nHost:192.168.1.187
server inst2 192.168.1.187:80 check inter 5000 fall 3

backend cache_test
balance roundrobin
#balance source
option httpchk HEAD /haproxy.txt HTTP/1.1\r\nHost:test.domain.com
server inst1 192.168.1.187:8000 check inter 5000 fall 3

二:再兩臺機器上都分別啟動:

/etc/init.d/keepalived start (這條命令會自動把haproxy啟動)

三:測試:

1.再兩臺機器上分別執行ip add
主: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:98:cd:c0 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.192/24 brd 192.168.1.255 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:fe98:cdc0/64 scope link
valid_lft forever preferred_lft forever

備: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:a6:0c:7e brd ff:ff:ff:ff:ff:ff
inet 192.168.1.193/24 brd 255.255.255.254 scope global eth0
inet6 fe80::20c:29ff:fea6:c7e/64 scope link
valid_lft forever preferred_lft forever

2.停掉主上的haproxy,3秒後keepalived會自動將其再次啟動
3.停掉主的keepalived,備機馬上接管服務
備: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:0c:29:a6:0c:7e brd ff:ff:ff:ff:ff:ff
inet 192.168.1.193/24 brd 255.255.255.254 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:fea6:c7e/64 scope link
valid_lft forever preferred_lft forever

4.更改hosts
192.168.1.200 test.com
192.168.1.200 test.domain.com
通過IE測試,可以發現
test.com的請求發向了192.168.1.187:80
test.domain.com的請求發向了192.168.1.187:8000


您可能感興趣的文章:

Keepalived HAProxy實現MySQL高可用負載均衡的配置LVS Keepalived構建高可用負載均衡(測試篇)LVS Keepalived構建高可用負載均衡配置方法(配置篇)haproxy keepalived實現高可用負載均衡(例項配置)keepalived實現nginx高可用