您好,欢迎来到好网址大全!
当前位置:好网址大全 » 站长资讯 » 建站技术 » 文章详细 订阅RssFeed

基于apache实现tomcat集群的负载均衡

来源:本站原创 浏览:196次 时间:2015-09-06

概述

Tomcat是一个完全功能的HTTP服务器,能够独立完成接收客户端请求,处理请求,然后封装响应报文响应客户端。但是Tomcat的并发响应能力并不强,所以往往使用httpd或nginx服务器用于在前端接收客户端请求,然后将请求调度至后端多个Tomcat节点。本文介绍的是利用httpd作为反向代理服务器,实现Tomcat的负载均衡。

httpd连接后端的Tomcat服务器,需要启用对应的模块。能够实现该功能的有两个模块:mod_proxy,mod_jk。mod_proxy是新出的模块,只有在apache 2.2及之后的版本上才可以使用,但是相对于mod_jk模块,它可以提供更丰富的功能和安全性。


实现过程

拓补图:

wKioL1XnmxrTKqPoAABkhYohh_4305.jpg

实验环境:

httpd:192.168.1.116

Tomcat node1:192.168.1.106

Tomcat node2:192.168.1.127


在Tomcat node1和node2上安装JDK和tomcat,完成环境变量的配置(192.168.1.106和192.168.1.127上完成)。

安装jdk:

[[email protected] ~]# rpm -ivh jdk-7u9-linux-x64.rpm 
[[email protected] ~]# cd /usr/java/
[[email protected] java]# ll
total 4
lrwxrwxrwx  1 root root   16 Sep  1 07:56 default -> /usr/java/latest
drwxr-xr-x 10 root root 4096 Sep  1 07:56 jdk1.7.0_09
lrwxrwxrwx  1 root root   21 Sep  1 07:56 latest -> /usr/java/jdk1.7.0_09

在/usr/java目录下有个latest链接文件指向最新的JDK。配置环境变量时直接使用此路径。

配置环境变量:

[[email protected] ~]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:$PATH

#################################
[[email protected] ~]# . /etc/profile.d/java.sh


安装tomcat:

[[email protected] ~]# tar xf apache-tomcat-7.0.42.tar.gz -C /usr/local/

环境变量配置:

[[email protected] local]# cd /usr/local
[[email protected] local]# ln -sv apache-tomcat-7.0.42/ tomcat
`tomcat' -> `apache-tomcat-7.0.42/'

[[email protected] ~]# vim /etc/profile.d/tomcat.sh
export CATALINA_HOME=/usr/local/tomcat
export PATH=$CATALINA_HOME/bin:$PATH

####################################
[[email protected] ~]# . /etc/profile.d/tomcat.sh

为tomcat提供服务脚本:

#!/bin/sh
# Tomcat init script for Linux.
#
# chkconfig: 2345 96 14
# description: The Apache Tomcat servlet/JSP container.
# JAVA_OPTS='-Xms64m -Xmx128m'
JAVA_HOME=/usr/java/latest
CATALINA_HOME=/usr/local/tomcat
export JAVA_HOME CATALINA_HOME
 
case $1 in
start)
  exec $CATALINA_HOME/bin/catalina.sh start ;;
stop)
  exec $CATALINA_HOME/bin/catalina.sh stop;;
restart)
  $CATALINA_HOME/bin/catalina.sh stop
  sleep 2
  exec $CATALINA_HOME/bin/catalina.sh start ;;
*)
  echo "Usage: `basename $0` {start|stop|restart}"
  exit 1
  ;;
esac

在代理服务器上编译安装apache2.4(192.168.1.116上)。

首先安装apr和apr-util:

[[email protected] ~]# tar xf apr-1.5.0.tar.bz2
[[email protected] ~]# cd apr-1.5.0
[[email protected] apr-1.5.0]# ./configure --prefix=/usr/local/apr-1.5.0
[[email protected] apr-1.5.0]# make && make install
#########################################
[[email protected] ~]# tar xf apr-util-1.5.3.tar.bz2
[[email protected] ~]# cd apr-util-1.5.3
[[email protected] apr-util-1.5.3]# ./configure --prefix=/usr/local/apr-util-1.5.3 --with-apr=/usr/local/apr-1.5.0/
[[email protected] apr-util-1.5.3]# make && make install

安装httpd-2.4:

[[email protected] ~]# tar xf httpd-2.4.9.tar.bz2
[[email protected] ~]# cd httpd-2.4.9
[[email protected] httpd-2.4.9]# yum install pcre-devel -y
[[email protected] httpd-2.4.9]# ./configure --prefix=/usr/local/apache --sysconfdir=/etc/httpd --e
nable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-apr=/usr/l
ocal/apr-1.5.0/ --with-apr-util=/usr/local/apr-util-1.5.3/ --enable-mpms-shared=all --with-m
pm=event --enable-proxy --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer  
--enable-lbmethod-heartbeat --enable-heartbeat --enable-slotmem-shm  --enable-slotmem
-plain --enable-watchdog
 
[[email protected] httpd-2.4.9]# make && make install

在编译时需要添加这几个参数来启用对应的模块:--enable-proxy --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer,最后的几个参数用于实现httpd与后端tomcat之间的信号传递实现对其健康状态的检测。

安装完成之后启动服务查看对应的模块是加载:

[[email protected] ~]# httpd -D DUMP_MODULES | grep proxy
 proxy_module (shared)
.....
 proxy_http_module (shared)
.....
 proxy_ajp_module (shared)
 proxy_balancer_module (shared)


httpd基于mod_jk模块实现负载均衡

httpd可以通过2种协议连接tomcat:http,ajp。tomcat启动之后默认会监听在2个端口:8080,8009。8080用于接收http请求,8009则用于接收ajp请求。mod_jk模块仅支持使用ajp协议连接后端的tomcat。

由于mod_jk模块出现的较早,httpd默认不包括该模块,需要通过apache的apxs函数编译该模块,安装至apache的模块目录下。若是直接使用yum安装的httpd,需要安装httpd-devel以提供apxs函数。


在代理服务器节点上安装mod_jk模块(192.168.1.116上),tomcat-connectors-1.2.40-src.tar.gz即为其源码包。

[[email protected] ~]# tar xf tomcat-connectors-1.2.40-src.tar.gz 
[[email protected] ~]# cd tomcat-connectors-1.2.40-src/native/
[[email protected] native]# ./configure --with-apxs=/usr/local/apache/bin/apxs
[[email protected] native]# make && make install

编辑配置文件,httpd-jk.conf默认在extra目录下没有,需要自己创建:

[[email protected] ~]# vim /etc/httpd/extra/httpd-jk.conf
LoadModule  jk_module  modules/mod_jk.so            #加载mod_jk模块
JkWorkersFile  /etc/httpd/extra/workers.properties  #定义后端每个tomcat实例的特性
JkLogFile  logs/mod_jk.log                          #指定mod_jk模块的日志文件
JkLogLevel  error                                   #记录日志的级别(info, error, debug)
JkMount  /*  lbcluster                             #将所有路径代理至lbcluster这个worker
JkMount  /status/  stat                            #状态信息页

上述的配置参数中,jkWorkersFile用于指定保存了后端各个Tomcat工作属性定义的配置文件。该配置文件的文件名通常是workers.properties,该文件中每一个tomcat实例视为一个worker,在apache启动时mod_jk会读取该配置文件的信息获取每个worker的配置信息。


workers.properties文件的配置格式:

worker.list = < a comma separated list of worker names >

worker. <worker name> .<property> = <property value>

worker.list为worker列表,worker.<worker name>.<property>定义各个worker的名称和属性。

编辑workers.properties:

[[email protected] ~]# vim /etc/httpd/extra/workers.properties
worker.list = lbcluster,stat
worker.TomcatA.type = ajp13                          #type指定worker的工作机制(定义一个tomcat实例)
worker.TomcatA.host = 192.168.1.106                  #host指定tomcat实例所在主机
worker.TomcatA.port = 8009                           #port指定连接tomcat实例上的端口
worker.TomcatA.lbfactor = 5                          #lbfactor指定该worker的权重
worker.TomcatB.type = ajp13
worker.TomcatB.host = 192.168.1.127
worker.TomcatB.port = 8009
worker.TomcatB.lbfactor = 5
worker.lbcluster.type = lb
worker.lbcluster1.method = B                        #指定调度的算法(根据负载情况进行调度)
worker.lbcluster.sticky_session = 0                 #是否启用sticksession
worker.lbcluster.balance_workers = TomcatA, TomcatB
worker.stat.type = status                           #用于显示各worker的工作状态

其中type属性可定义3种工作机制:

ajp13    #定义一个tomcat实例

lb          #用于负载均衡场景中,此worker包括多个tomcat实例

status   #用于显示各个worker工作状态的特使worker

上述配置中定义了2个tomcat实例:TomcatA和TomcatB,lbcluster这个worker包括了这两个tomcat实例,根据httpd-jk.conf中的定义(JkMount  /*  lbcluster)所用的请求都将使用定义的算法调度至TomcatA和TomcatB。实现负载均衡的算法有3种,默认为“R”,根据用户的请求个数进行调度,“T”根据已发送给各tomcat的流量进行调度,“B”根据负载情况进行调度。

若将文件中的worker.lbcluster1.sticky_session = 0改为1,则将实现session绑定,同一客户端的所有后续请求都将直接调度至第一个访问的worker。


在httpd的主配置文件中包含上述完成的配置文件:

[[email protected] ~]# vim /etc/httpd/httpd.conf
.....
Include  /etc/httpd/extra/httpd-jk.conf

重新加载服务:

[[email protected] ~]# httpd -t
Syntax OK
[[email protected] ~]# service httpd reload

上述的配置都在httpd节点上完成,然后在后端tomcat节点上添加对应的虚拟主机和测试页面:

在Tomcat node1和node2上:

[[email protected] tomcat]# vim conf/server.xml 
.....
      <Host name="www.xiaoxiao.com"  appBase="/tomcat/webapps"
            unpackWARs="true" autoDeploy="true">
            <Context path="/web" docBase="web"/>
      </Host>

 ######################################
[[email protected] ~]# cd /tomcat/webapps/
[[email protected] webapps]# mkdir web/WEB-INF/{classes,lib} -pv

在实现负载均衡时,若一个节点上有多个tomcat实例,这是需要在engine段加上jvmRoute参数,其值为httpd节点上/etc/httpd/extra/workers.properties中对应的worker name。例如:

<Engine name="Catalina" defaultHost="localhost" jvmRoute="a">
<Engine name="Catalina" defaultHost="localhost" jvmRoute="b">

node1上的测试页面:

[[email protected] web]# vim index.jsp 
<%@ page language="java" %>
<html>
  <head><title>Tomcat node1</title></head>
  <body>
    <h1><font color="blue">Tomcat node1</font></h1></p>
  </body>
</html>

node2上的测试页面:

[[email protected] web]# vim index.jsp 
<%@ page language="java" %>
<html>
  <head><title>Tomcat node2</title></head>
  <body>
    <h1><font color="red">Tomcat node2</font></h1></p>
  </body>
</html>

配置完成后启动tomcat服务。访问测试:

wKiom1XntzPi1szAAAC-3V3PpFY844.jpg


wKioL1XnuXmAshD-AADJmZAczBE810.jpg


状态页面:

wKioL1XnuiTArO66AAJv1jRuGIY653.jpg

配置完成后其自动实现了后端服务器健康状态的检测,某台服务器故障之后,可实时完成故障转移。


httpd基于mod_proxy模块实现负载均衡

mod_proxy模块支持通过http和ajp协议连接后端的tomcat。

在httpd节点上,配置httpd的全局段:

<proxy balancer://lbcluster>
 BalancerMember ajp://192.168.1.106:8009 loadfactor=1   route=a#指定后端服务器及权重(loadfactor)
 BalancerMember ajp://192.168.1.127:8009 loadfactor=1   route=b
 ProxySet lbmethod=bytraffic                #调度使用的算法
 #ProxySet stickysession=JSESSIONID          #是否启用sticksession
</proxy>

若使用http协议:

<proxy balancer://lbcluster1>
BalancerMember http://192.168.1.106:8080 loadfactor=1  route=a
BalancerMember http://192.168.1.127:8080 loadfactor=1  route=b
#ProxySet stickysession=JSESSIONID
ProxySet lbmethod=bytraffic
</proxy>

在httpd节点上配置虚拟机:

[[email protected] httpd]# vim extra/httpd-vhosts.conf
<VirtualHost *:80>                             
    ServerName www.xiaoxiao.com         #虚拟主机名称
    ProxyVia Off                        #在响应报文中是否添加via首部,用于表明这是经过哪个主机代理得到的响应
    ProxyRequests Off                   #关闭正向代理(正反向代理不应该同时启用)
    ProxyPreserveHost On                #代理将请求报文的host首部信息发送给后端服务器
    ProxyPass / balancer://lbcluster/   #将请求代理至lbcluster包含的后端服务器
    ProxyPassReverse / balancer://lbcluster/
    <Location /status>                  #启用状态页面
      SetHandler balancer-manager
      Proxypass !                       #指定此路径不进行代理
      Require all granted
    </Location>
    <Proxy *>
      Require all granted
    </Proxy>
    <Location  / >
      Require all granted
    </Location>
</VirtualHost>

在定义负载均衡的集群时,常用的参数有lbmethod(调度算法),maxattempts(故障转移次数),nofailover(是否失效转移),stickysession(用于保持session)。这些参数可以定义在全局段的proxy段中,如下:

<proxy balancer://lbcluster>

.......

 ProxySet lbmethod=bytraffic

 ProxySet stickysession=JSESSIONID 

</proxy>

也可以定义在banlancer://或ProxyPass后面。

lbmethod能够指定的算法有3种:

byrequests     #根据权重进行轮询

bytraffic         #基于流量和权重进行调度

bybusyness    #基于后端服务器的当前负载进行调度

在主配置文件中包含虚拟主机的配置文件,注销mod_jk的配置文件:

Include /etc/httpd/extra/httpd-vhosts.conf
#Include  /etc/httpd/extra/httpd-jk.conf

后端的tomcat按照上一个案例进行配置,然后重启httpd服务:

[[email protected] ~]# httpd -t
Syntax OK
[[email protected] ~]# service httpd reload

测试结果与上述一致,不同的是mod_proxy的状态信息页面功能更强大,可以在页面中对后端主机进行各属性的配置。

wKioL1XnyR3R5pr9AAO1w_swfI4228.jpg


wKiom1XnxyryjobSAAF6qyBhhc0502.jpg

可以设置ProxySet stickysession=JSESSIONID将同一客户端请求定向至同一台后端服务器来维持session。根据个人的配置,貌似这个参数只能配置在全局段的proxy段中,且BalancerMember后面还需要添加route参数,才能生效。

<proxy balancer://lbcluster>

.......

 ProxySet stickysession=JSESSIONID 

</proxy>

在负载均衡过程中,如果后端一个节点下线,则原本代理至该服务器的请求将调度至其他节点,这时用户的session将损坏。可以关闭nofailover(nofailover = Off)不进行失效转移,能够保证节点重新上线后,用户能够访问到原来的session。

.................^_^





推荐站点

  • 盛大云盛大云

    \\\\\\\"盛大云\\\\\\\"(www.grandcloud.cn)是在整合盛大集团资源的基础上,百分百自主技术研发而成的公有云平台。\\\\\\\"盛大云\\\\\\\"以国际领先的AWS模式,已推出国内第一家按需计费的云主机,第一家基于Key-Value的云存储,第一家云硬盘服务,第一家一站式服务的DDS产品,第一家在线MongoIC服务以及云监控服务

    www.grandcloud.cn
  • 揽众网络揽众网络

    揽众网络

    www.dkw.com.cn
  • 云立方网云立方网

    云立方网

    www.yunlifang.cn
  • 新安数据新安数据

    新安数据也是一家提供主机合租业务的IDC运营商,分配到每个合租方的空间也不少,如果不是对空间大小有特殊要求的企业可以考虑。

    www.xinanidc.com
  • 老左博客老左博客

    老左博客,致力于美国VPS,美国主机评测、推荐;分享便宜VPS,美国主机优惠码,Godaddy优惠码,NameCheap等域名优惠码的IT博客,博主老左(LaoZuo.ORG)。

    www.laozuo.org