使用Nginx+keepalived配置负载均衡 - Nginx - 服务器之家

服务器之家

专注于服务器技术!
当前位置:首页 > Web服务器 > Nginx

使用Nginx+keepalived配置负载均衡

发布时间:2013-09-12 来源:服务器之家

 一.体系架构
        在Keepalived + Nginx高可靠负载均衡架构中,keepalived负责实现High-availability (HA) 功能控制前端机VIP(虚拟网络地址),当有设备发生故障时,热备服务器可以瞬间将VIP自动切换过来,实际运行中体验只有2秒钟切换时间,DNS服务可以负责前端VIP的负载均衡。



二.简单原理
        NGINX_MASTER、NGINX_BACKUP两台服务器均通过keepalived软件把eth0网卡绑上一个虚拟IP(VIP)地址192.168.0.56,此VIP当前由谁承载着服务就绑定在谁的eth0上,当NGINX_MASTER发生故障时,NGINX_BACKUP会通过/etc/keepalived/keepalived.conf文件中设置的心跳时间advert_int 1检查,无法获取NGINX_MASTER正常状态的话,NGINX_BACKUP会瞬间绑定VIP来接替nginx_master的工作,当NGINX_MASTER恢复后keepalived会通过priority参数判断优先权将虚拟VIP地址192.168.0.56重新绑定给NGINX_MASTER的eth0网卡。
使用此方案的优越性
1.实现了可弹性化的架构,在压力增大的时候可以临时添加web服务器添加到这个架构里面去;
2.upstream具有负载均衡能力,可以自动判断后端的机器,并且自动踢出不能正常提供服务的机器;
3.相对于lvs而言,正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性,避免单点故障;
4.用nginx做负载均衡,无需对后端的机器做任何改动。

三.系统环境
    两台负载机器安装:centos5.8 +nginx+keepalived,分别命名为: NGINX_MASTER,NGINX_BACKUP。
    两台WEB集群机器安装:windows server 2008 R2+IIS7,分别命名为: WEB_1,WEB_2。
NGINX_MASTER:
ip:192.168.0.69(主服务器)
子网掩码:255.255.255.0
默认网关:192.168.0.1
vip:192.168.0.56
LVS_DR_BACKUP:
ip:192.168.0.47(备服务器)
子网掩码:255.255.255.0
默认网关:192.168.0.1
vip:192.168.0.56
WEB_1:
ip:192.168.0.109
子网掩码:255.255.255.0
默认网关:192.168.0.1
WEB_2:
ip:192.168.0.115
子网掩码:255.255.255.0
默认网关:192.168.0.1

四、Nginx的安装配置
分别在NGINX_MASTER、NGINX_BACKUP两台服务器安装nginx
1、关闭SELinux
查看SELinux的状态
getenforce
如果是开启状态,则
vi /etc/selinux/config
#SELINUX=enforcing     #注释掉
#SELINUXTYPE=targeted  #注释掉
SELINUX=disabled  #增加
重启系统
reboot
2、开启防火墙80端口
vi /etc/sysconfig/iptables
添加一条规则
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
3、安装编译工具
yum update
yum install wget  make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd  kernel keyutils  patch perl mhash(哈稀函数库)
4 、系统约定
软件源代码包存放位置:/usr/local/src
源码包编译安装位置:/usr/local/软件名字
默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。
tmpfs有以下优势:
1)动态文件系统的大小,
2)tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。
3)tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载,绑定的操作。
首先在/dev/shm建个tmp文件夹,然后与实际/tmp绑定
mkdir /dev/shm/tmp
chmod 777 /dev/shm/tmp
mount --bind /dev/shm/tmp /tmp
5、下载软件
cd /usr/local/src  #进入目录
(1)、下载nginx
wget http://nginx.org/download/nginx-1.3.0.tar.gz
(2)、下载pcre  (支持nginx伪静态)
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz
(3)、下载ngx_cache_purge(清除指定URL缓存)
wget http://labs.frickle.com/files/ngx_cache_purge-1.5.tar.gz
(4)、下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
6、安装pcre
tar  zxvf pcre-8.21.tar.gz
cd pcre-8.21
./configure
make
make install
7、安装nginx
groupadd  www   #添加www组
useradd -g www www -s /bin/false   #创建nginx运行账户www并加入到www组,不允许www用户直接登录系统    
cd /usr/local/src
tar  zxvf  ngx_cache_purge-1.5.tar.gz
tar  zxvf nginx-1.3.0.tar.gz
cd nginx-1.3.0
./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-openssl=/usr/include/openssl --with-pcre=/usr/local/src/pcre-8.30 --add-module=/usr/local/src/ngx_cache_purge-1.5 --with-http_gzip_static_module
# 注意:--with-pcre指向的是源码包解压的路径,而不是安装的路径,否则编译会报错
make
make install
/usr/local/nginx/sbin/nginx    #启动nginx
chown www.www -R /usr/local/nginx/html   #设置目录所有者
vi /etc/rc.d/init.d/nginx    # 设置nginx开启启动,编辑启动文件添加下面内容
#!/bin/bash 
# nginx Startup script for the Nginx HTTP Server 
# it is v.1.3.0 version. 
# chkconfig: - 85 15 
# description: Nginx is a high-performance web and proxy server. 
#              It has a lot of features, but it's not for everyone. 
# processname: nginx 
# pidfile: /var/run/nginx.pid 
# config: /usr/local/nginx/conf/nginx.conf 
nginxd=/usr/local/nginx/sbin/nginx 
nginx_config=/usr/local/nginx/conf/nginx.conf 
nginx_pid=/usr/local/nginx/logs/nginx.pid 
RETVAL=0 
prog="nginx" 
# Source function library. 
.  /etc/rc.d/init.d/functions 
# Source networking configuration. 
.  /etc/sysconfig/network 
# Check that networking is up. 
[ ${NETWORKING} = "no" ] && exit 0 
[ -x $nginxd ] || exit 0 
# Start nginx daemons functions. 
start() { 
if [ -e $nginx_pid ];then 
   echo "nginx already running...." 
   exit 1 
fi 
   echo -n $"Starting $prog: " 
   daemon $nginxd -c ${nginx_config} 
   RETVAL=$? 
   echo 
   [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx 
   return $RETVAL 

# Stop nginx daemons functions. 
stop() { 
        echo -n $"Stopping $prog: " 
        killproc $nginxd 
        RETVAL=$? 
        echo 
        [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /usr/local/nginx/logs/nginx.pid 

reload() { 
    echo -n $"Reloading $prog: " 
    #kill -HUP `cat ${nginx_pid}` 
    killproc $nginxd -HUP 
    RETVAL=$? 
    echo 

# See how we were called. 
case "$1" in 
start) 
        start 
        ;; 
stop) 
        stop 
        ;; 
reload) 
        reload 
        ;; 
restart) 
        stop 
        start 
        ;; 
status) 
        status $prog 
        RETVAL=$? 
        ;; 
*) 
        echo $"Usage: $prog {start|stop|restart|reload|status|help}" 
        exit 1 
esac 
exit $RETVAL
chmod +x /etc/rc.d/init.d/nginx   # 赋予执行权限
chkconfig nginx on   #设置开机启动
service nginx stop   #关闭nginx
8、配置nginx
将nginx初始配置文件备份,我们要重新创建配置文件
mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bak
vi /usr/local/nginx/conf/nginx.conf
user  www www; 
worker_processes  4;   # 工作进程数,为CPU的核心数或者两倍 
error_log   logs/error.log  crit; # debug|info|notice|warn|error|crit 
pid        logs/nginx.pid; 
events { 
    use epoll;                            #Linux最常用支持大并发的事件触发机制 
    worker_connections  65535; 

http { 
    include       mime.types;             #设定mime类型,类型由mime.type文件定义 
    default_type  application/octet-stream; 
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
                      '$status $body_bytes_sent "$http_referer" ' 
                      '"$http_user_agent" "$http_x_forwarded_for"'; 
    access_log  logs/access.log  main;  
    #设定请求缓冲 
    server_names_hash_bucket_size 256;    #增加,原为128 
    client_header_buffer_size 256k;       #增加,原为32k 
    large_client_header_buffers 4 256k;   #增加,原为32k 
    #size limits 
    client_max_body_size          50m;    #允许客户端请求的最大的单个文件字节数 
    client_header_timeout         3m; 
    client_body_timeout           3m; 
    send_timeout                  3m; 
    sendfile                      on; 
    tcp_nopush                    on; 
    keepalive_timeout             120; 
    tcp_nodelay                   on; 
    server_tokens                 off;    #不显示nginx版本信息 
    limit_conn_zone $binary_remote_addr zone=perip:10m; #添加limit_zone,限制同一IP并发数 
    #fastcgi_intercept_errors on;        #开启错误页面跳转 
    include  gzip.conf;    #压缩配置文件 
    include  proxy.conf;    #proxy_cache参数配置文件 
    include  vhost/*.conf;    #nginx虚拟主机包含文件目录 
    include  mysvrhost.conf;    #后端WEB服务器列表文件
}
cd /usr/local/nginx/conf/
mkdir vhost
vi proxy.conf
proxy_temp_path   /tmp/proxy_temp; 
proxy_cache_path  /tmp/proxy_cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=3g; 
client_body_buffer_size  512k;     #原为512k 
proxy_connect_timeout    50;       #代理连接超时 
proxy_read_timeout       600;      #代理发送超时 
proxy_send_timeout       600;      #代理接收超时 
proxy_buffer_size        128k;     #代理缓冲大小,原为32k 
proxy_buffers           16 256k;   #代理缓冲,原为4 64k 
proxy_busy_buffers_size 512k;      #高负荷下缓冲大小,原为128k 
proxy_temp_file_write_size 1024m;  #proxy缓存临时文件的大小原为128k 
#proxy_ignore_client_abort  on;    #不允许代理端主动关闭连接 
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404 http_502 http_504; 
vi mysvrhost.conf
upstream cn100 { 
  ip_hash;  #会话保持 
  server 192.168.0.115  max_fails=1 fail_timeout=60s; 
  server 192.168.0.109  max_fails=1 fail_timeout=60s; 

vi gzip.conf
#网页GZIP压缩设置 
#2012.4.2 
#可通过http://tool.chinaz.com/Gzips/检测压缩情况 

#启动预压缩功能,对所有类型的文件都有效 
gzip_static on;    #开启nginx_static后,对于任何文件都会先查找是否有对应的gz文件 
#找不到预压缩文件,进行动态压缩 
gzip on; 
gzip_min_length   1k;  #设置最小的压缩值,单位为bytes.超过设置的min_length的值会进行压缩,小于的不压缩. 
gzip_comp_level   3;   #压缩等级设置,1-9,1是最小压缩,速度也是最快的;9刚好相反,最大的压缩,速度是最慢的,消耗的CPU资源也多 
gzip_buffers      16 64k;   #设置系统的缓存大小,以存储GZIP压缩结果的数据流,它可以避免nginx频烦向系统申请压缩空间大小 
gzip_types text/plain application/x-javascript text/css text/javascript; 
#关于gzip_types,如果你想让图片也开启gzip压缩,那么用以下这段吧: 
#gzip_types text/plain application/x-javascript text/css text/javascript application/x-httpd-php image/jpeg image/gif image/png; 
#gzip公共配置 
gzip_http_version 1.1;      #识别http的协议版本(1.0/1.1) 
gzip_proxied      any;      #设置使用代理时是否进行压缩,默认是off的 
gzip_vary         on;       #和http头有关系,加个vary头,代理判断是否需要压缩 
gzip_disable "MSIE [1-6]."; #禁用IE6的gzip压缩 
vi vhost/cn100.conf
server { 
        listen       80; 
        server_name  localhost; 
        #charset GB2312; 
        location / 
        { 
              proxy_redirect off; 
              proxy_set_header        Host $host; 
              proxy_set_header        X-Real-IP $remote_addr; 
              proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for; 
              proxy_pass http://cn100; 
        } 
# 查看nginx的并发连接数配置 
        location /NginxStatus 
        { 
             stub_status             on; 
             access_log              off; 
             auth_basic              "NginxStatus"; 
        } 
        access_log  off; 
        error_page 404  /404.html; 
        error_page   500 502 503 504 /404.html; 
        location = /404.html { 
            root   html; 
        } 
        limit_conn perip 50;  #同一ip并发数为50,超过会返回503 

9、设置proxy_cache参数配置
cd /tmp  #进入目录
mkdir -p  /tmp/proxy_temp     #proxy_temp_dir与proxy_cache_dir这两个文件夹必须在同一个分区
mkdir -p  /tmp/proxy_cache    #proxy_cache_dir与proxy_temp_dir这两个文件夹必须在同一个分区
chown www.www -R  /tmp/proxy_temp /tmp/proxy_cache  #设置目录所有者
chmod -R 777   /tmp/proxy_temp /tmp/proxy_cache    #设置目录权限
附1:Nginx优化设置基本的TCP配置
vi /etc/sysctl.conf
优化内核参数
net.ipv4.ip_forward = 0  
net.ipv4.conf.default.rp_filter = 1  
net.ipv4.conf.default.accept_source_route = 0  
kernel.sysrq = 0  
kernel.core_uses_pid = 1  
net.ipv4.tcp_syncookies = 1  
kernel.msgmnb = 65536  
kernel.msgmax = 65536  
kernel.shmmax = 68719476736  
kernel.shmall = 4294967296  
net.ipv4.tcp_max_tw_buckets = 6000  
net.ipv4.tcp_sack = 1  
net.ipv4.tcp_window_scaling = 1  
net.ipv4.tcp_rmem = 4096 87380 4194304   
net.ipv4.tcp_wmem = 4096 16384 4194304   
net.core.wmem_default = 8388608  
net.core.rmem_default = 8388608  
net.core.rmem_max = 16777216  
net.core.wmem_max = 16777216  
net.core.netdev_max_backlog = 262144  
net.core.somaxconn = 262144  
net.ipv4.tcp_max_orphans = 3276800  
net.ipv4.tcp_max_syn_backlog = 262144  
net.ipv4.tcp_timestamps = 0  
net.ipv4.tcp_synack_retries = 1  
net.ipv4.tcp_syn_retries = 1  
net.ipv4.tcp_tw_recycle = 1  
net.ipv4.tcp_tw_reuse = 1  
net.ipv4.tcp_mem = 94500000 915000000 927000000   
net.ipv4.tcp_fin_timeout = 1  
net.ipv4.tcp_keepalive_time = 30  
net.ipv4.ip_local_port_range = 1024 65000 允许系统打开的端口范围  
使配置立即生效:
/sbin/sysctl -p
附2:编写每天定时切割Nginx日志的脚本
1、创建脚本/usr/local/nginx/cut_nginx_log.sh
vi  /usr/local/nginx/cut_nginx_log.sh
#/bin/bash   
savepath_log='/usr/local/nginx/logs'  
nglogs='/usr/local/nginx/logs'  
mkdir -p  $savepath_log/$(date +%Y)/$(date +%m)   
mv $nglogs/access.log  $savepath_log/$(date +%Y)/$(date +%m)/access.$(date +%Y%m%d).log   
mv  $nglogs/error.log  $savepath_log/$(date +%Y)/$(date +%m)/error.$(date +%Y%m%d).log   
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid` 
chmod +x /usr/local/nginx/cut_nginx_log.sh
2、设置crontab,每天凌晨00:00切割nginx访问日志
crontab –e
输入以下内容:
00 00 * * * /bin/bash  /usr/local/nginx/cut_nginx_log.sh
附3:关闭系统无关的服务
接下来关掉一些不必要的系统服务
chkconfig bluetooth off
chkconfig firstboot off
chkconfig cups off
chkconfig ip6tables off
chkconfig isdn off
chkconfig kudzu off
chkconfig sendmail off
chkconfig smartd off
chkconfig autofs off
附4:关于服务器间的时间同步
在时间同步服务器上安装ntp
yum install ntp
设置同步
crontab –e 
在最后添加
1 5 * * * /usr/sbin/ntpdate time.nist.gov >> /var/log/upClock.log
附5. 查看nginx的并发连接数 在浏览器中打开http:///NginxStatus

以上解析: Active connections:当前 Nginx 正处理的活动连接数。 server accepts handled requests :总共处理了15个连接 , 成功创建 15 次握手,总共处理了76个请求。 Reading:nginx 读取到客户端的 Header 信息数。 Writing:nginx 返回给客户端的 Header 信息数。 Waiting :开启 keep-alive 的情况下, Nginx 已经处理完正在等候下一个请求指令的停留连接。 附6. 开启nginx缓存功能(2012年5月30日新增) proxy.conf文件前面已经配置过了,这里无需再配置,直接配置cn100.conf文件即可。 vi /usr/local/nginx/conf/vhost/cn100.conf   server {  
        listen       80; 
        server_name  localhost; 
        #charset GB2312; 
        location / 
        { 
              proxy_pass http://cn100; 
              proxy_redirect off; 
              proxy_set_header        Host $host; 
              proxy_set_header        X-Real-IP $remote_addr; 
              proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for; 
              proxy_cache cache_one;
              proxy_cache_valid 200 302 304 1h; #200、302、304错误状态码保存1小时 
              proxy_cache_valid 301 1d; #301错误状态码保存1天 
              proxy_cache_valid any 1m; #其余的保存1分钟 
              #以域名、URI、参数组合成Web缓存的Key值,存储缓存内容到二级缓存目录内 
              proxy_cache_key $host$uri$is_args$args; 
              expires 30d; #设置失效时间为30天 
        } 
        # 设置手动清除URL缓存 
        location ~ /purge(/.*)
        { 
             # 设置只允许指定的IP或IP段才可以清除URL缓存 
             allow  127.0.0.1; 
             allow  192.168.0.0/16; 
             deny all;
             proxy_cache_purge  cache_one  $host$1$is_args$args; 
        }
        location /NginxStatus  
        { 
             stub_status             on; 
             access_log              off; 
             auth_basic              "NginxStatus"; 
             allow  192.168.0.0/16; 
             deny all; 
        } 
        access_log  off; 
        error_page 404  /404.html; 
        error_page   500 502 503 504 /404.html; 
        location = /404.html { 
            root   html; 
        } 
        limit_conn ctohome_zone 50;  #同一ip并发数为50,超过会返回503 

以上配置文件红色部分为新增内容。通过浏览器访问一下网站,进入到/tmp/proxy_cache目录下,查看是否生成缓存文件。

清除URL缓存方法: 假设你的URL为:http://192.168.0.56/images/apa.jpg,浏览器输入:http://192.168.0.56/purge/images/apa.jpg,就可以清除该URL的缓存。

五、安装配置keepalived 1.安装keepalived(HA):
$ tar zxvf keepalived-1.2.2.tar.gz $ cd keepalived-1.2.2
$ ./configure  
Keepalived configuration
------------------------
Keepalived version       : 1.2.2 Compiler                 : gcc Compiler flags           : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib                : -lpopt -lssl -lcrypto  Use IPVS Framework       : No IPVS sync daemon support : No Use VRRP Framework       : Yes Use Debug flags          : No  
注:若IPVS处为No,不用担心,是没有装ipvsadm的原因,我们是用nginx做负载,所以这里只需要用到VRRP。
make
make install

2.将keepalived 以服务方式启动
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
cp /usr/local/etc/sysconfig/keepalived  /etc/sysconfig
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf  /etc/keepalived/
cp /usr/local/sbin/keepalived  /usr/sbin
chkconfig keepalived on

3.修改keepalived配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived 
global_defs { 
   notification_email { 
     servererror@cn100.com 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc 
   smtp_server mail.cn100.com 
  # smtp_connect_timeout 30 
   router_id LVS_DEVEL 

vrrp_script chk_http_port { 
    script "/etc/keepalived/nginx_pid.sh"   # 检查nginx状态的脚本 
    interval 2   
    weight 3 

vrrp_instance VI_1 { 
    state MASTER 
    interface eth0 
    virtual_router_id 51 
    priority 100 
    advert_int 1 
    authentication { 
        auth_type PASS 
        auth_pass 1111 
    } 
    virtual_ipaddress { 
        192.168.0.56 
       # 192.168.200.17 
       # 192.168.200.18 
    } 
    track_script { 
    chk_http_port  
    } 

4.添加检查nginx状态的脚本,当nginx停止时,会自动将nginx启动 vi /etc/keepalived/nginx_pid.sh #!/bin/bash 
#version 0.0.1 

A=`ps -C nginx --no-header |wc -l` 
if [ $A -eq 0 ];then 
#  /usr/sbin/nginx 
      service nginx start 
              sleep 3 
                if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then 
#                       killall keepalived 
                        service  keepalived stop 
fi 
fi 
chmod  +x  /etc/keepalived/nginx_pid.sh server keepalived start 5.添加防火墙协议 VRRP(Virtual Router Redundancy Protocol,虚拟路由器冗余协议) 在iptables配置当中增加: -I INPUT -s 192.168.0.47 -d 224.0.0.18 -j ACCEPT   # 如果是backup服务器,这里改成master服务器的IP

六、测试
1.当NGINX_MASTER、NGINX_BACKUP服务器nginx均正常工作时 在NGINX_MASTER上:

在NGINX_BACKUP上:

master服务器eth0网卡正常绑定VIP,而backup却没有绑定,通过浏览器可正常访问网站正常。
2.关闭NGINX_MASTER的keepalived和nginx服务,NGINX_BACKUP正常工作时 在NGINX_MASTER上:
在NGINX_BACKUP上:

NGINX_BACKUP的eth0已瞬间绑定VIP,通过浏览器访问网站正常。
3.将NGINX_MASTER的keepalived和nginx服务启动,关闭NGINX_BACKUP的keepalived和nginx服务

NGINX_MASTER的eth0网卡重新绑定VIP,通过浏览器访问网站正常。
4.关闭WEB_1服务器,通过浏览器访问网站正常。
http://www.linuxso.com/fuzai/31123.html