Nginx+Tomcat+Memcached实现负载均衡和session共享

server1：IP 172.25.254.1 安装tomcat和memcached，做调度器，使用nginx
server2：IP 172.25.254.2 安装tomcat和memcached

（1）Nginx负责负载均衡。
（2）Tomcat负责实际服务。
（3）Memcached负责同步Tomcat的Session，达到Session共享的目的。

一、server1 ：172.25.254.1 主机搭建Jdk

[root@server1 ~]# tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local
[root@server1 ~]# cd /usr/local
[root@server1 local]# ln -s jdk1.7.0_79/ java
[root@server1 local]# vim /etc/profile
在最后一行开始写入：
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
[root@server1 local]# source /etc/profile

测试jdk环境：

[root@server1 ~]# vim test.java

root@server1 ~]# javac test.java  #编译
[root@server1 ~]# ls          #编译完成会生成test.class文件
test.class  test.java
[root@server1 ~]# file test.class  #是一个java库数据文件
test.class: compiled Java class data, version 51.0
[root@server1 ~]# java test  
Hello World

二、安装tomcat

[root@server1 ~]# tar zxf apache-tomcat-7.0.37.tar.gz -C /usr/local/
[root@server1 ~]# cd /usr/local/
[root@server1 local]# ln -s apache-tomcat-7.0.37 tomcat
[root@server1 local]# cd tomcat/
[root@server1 tomcat]# bin/startup.sh   #开启tomcat
[root@server1 tomcat]# netstat -antlp |grep :8080  #默认开启端口为8080
tcp    0     0     :::8080       :::*        LISTEN      1232/java  

网页访问：http://172.25.254.1:8080/

[root@server1 tomcat]# cd webapps/ROOT/
[root@server1 ROOT]# pwd           #tomcat默认发布目录
/usr/local/tomcat/webapps/ROOT
[root@server1 ROOT]# vim test.jsp   #自己写一个测试页面
[root@server1 ROOT]# cat test.jsp
server1 -  The time is: <%=new java.util.Date()%>

输入绝对路径测试：

三、编译Nginx

[root@server1 ~]# tar zxf nginx-1.10.1.tar.gz 
[root@server1 ~]# tar zxf nginx-sticky-module-ng.tar.gz
[root@server1 ~]# cd nginx-1.10.1
[root@server1 nginx-1.10.1]# vim src/core/nginx.h
    14 #define NGINX_VER          "nginx"   ##删除版本号，安全一点！
[root@server1 nginx-1.10.1]# vim auto/cc/gcc
    179 #CFLAGS="$CFLAGS -g"      ##注释掉这行，忽略编译信息，安装的容量会变小。

[root@server1 nginx-1.10.1]# yum install -y gcc-c++ pcre-devel openssl-devel
[root@server1 nginx-1.10.1]# useradd -s /sbin/nologin nginx
[root@server1 nginx-1.10.1]# ./configure --prefix=/usr/local/lnmp/nginx --with-http_ssl_module --with-http_stub_status_module --with-file-aio --with-threads --user=nginx --group=nginx --add-module=/root/nginx-sticky-module-ng  #编译安装nginx
[root@server1 nginx-1.10.1]# make && make install        ##安装
[root@server1 nginx-1.10.1] cd /usr/local/lnmp/nginx/sbin/    
[root@server1 sbin]# ./nginx   ##启动nginx，为了方便可做个软连接。
[root@server1 sbin]# ln -s /usr/local/nginx/sbin/nginx /usr/sbin/

[root@server1 sbin]# vim /usr/local/lnmp/nginx/conf/nginx.conf

四、在server2 172.25.254.2 主机上搭建 Tomcat

[root@server2 ~]# tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local
[root@server2 ~]# cd /usr/local/
[root@server2 local]# ln -s jdk1.7.0_79/ java
[root@server2 local]# vim /etc/profile    #修改全局变量
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
[root@server2 local]# source /etc/profile   #生效

[root@server2 ~]# tar zxf apache-tomcat-7.0.37.tar.gz -C /usr/local/
[root@server2 ~]# cd /usr/local/
[root@server2 local]# ln -s apache-tomcat-7.0.37/ tomcat
[root@server2 local]# cd tomcat/
[root@server2 tomcat]# bin/startup.sh   #开启tomcat

网页访问：http://172.25.254.2:8080/

[root@server2 tomcat]# cd webapps/ROOT/
[root@server2 ROOT]# pwd     #tomcat默认发布目录
/usr/local/tomcat/webapps/ROOT
[root@server2 ROOT]# vim test.jsp    #自己写一个测试页面
[root@server2 ROOT]# cat test.jsp  
server2 -  The time is: <%=new java.util.Date()%>

测试Nginx的负载均衡

五、构建Nginx+Tomcat负载均衡

网页访问http://172.25.254.1/index.jsp
报错：出不来效果

[root@server1 ~]# vim /usr/local/lnmp/nginx/conf/nginx.conf
         location / {
            #root   html;
             root /usr/local/tomcat/webapps/ROOT;  ##加入访问路径
             index  index.html index.htm;
         }
[root@server1 ~]# cd /usr/local/lnmp/nginx/sbin/
[root@server1 sbin]# ./nginx -s reload

再次刷新就可以了

网页访问：http://172.25.254.1/test.jsp

每刷新一次，网页存储位置IP会跳变，这样不利于数据存储，容易丢失。所以要在nginx里加入算法.

[root@server1 ~]# cd /usr/local/lnmp/nginx/sbin/
[root@server1 sbin]# vim /usr/local/lnmp/nginx/conf/nginx.conf
 http {
         upstream tomcat{
         sticky;     #算法
         server 172.25.40.1:8080;
         server 172.25.40.2:8080;
         }
[root@server1 sbin]# ./nginx -s reload

将server1的tomcat关闭，网页访问自动转接server2主机

[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh

网页访问：http://172.25.254.1/test.jsp此时数据只会存储在server2主机上

六、session共享

1、在server1 172.25.254.1和server2 172.25.254.2 主机同安装 Memcached

[root@server1 ~]# yum install -y memcached
[root@server1 ~]# /etc/init.d/memcached start
Starting memcached:                                        [  OK  ]

把如下软件包放置到/usr/local/tomcat/lib 目录中
asm-3.2.jar   
kryo-1.04.jar      
kryo-serializers-0.10.jar     
memcached-session-manager-1.6.3.jar   
memcached-session-manager-tc7-1.6.3.jar
minlog-1.2.jar              
msm-kryo-serializer-1.6.3.jar    
reflectasm-1.01.jar       
spymemcached-2.7.3.jar  

2、server 1 172.25.254.1 主机配置

[root@server1 ~]# vim /usr/local/tomcat/conf/context.xml
 <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
 memcachedNodes="n1:172.25.254.1:11211,n2:172.25.254.2:11211"
 failoverNodes="n1"     #节点
 requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
 transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
 />
[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh 

3、server2 172.25.254.2 配置

[root@server1 ~]# vim /usr/local/tomcat/conf/context.xml

4、将server 1 的 tomcat关闭

[root@server1 ~]# cd /usr/local/tomcat/
[root@server1 tomcat]# bin/shutdown.sh 

添加用户信息

在server1 查看 储存

[root@server1 ~]# yum install -y telnet
[root@server1 ~]# telnet localhost 11211

此时存储在 节点： n1 server1 上，那么当我们将 memcached 关掉之后

[root@server1 ~]# /etc/init.d/memcached stop
Stopping memcached:                                        [  OK  ]

刷新网页：

再去server2查看储存

[root@server2 tomcat]# yum install -y telnet
[root@server2 tomcat]# telnet localhost 11211

注意： tomcat不能反复开启，需要关闭后再开启。否则会增加很多进程，占用端口。如果开启不了tomcat，先查看文件是否由错误，再查看端口是否被占用，或结束进程。

nginx-sticky-module 为 nginx 的第三方模块，使 nginx 支持 sticky 模式，所谓 sticky 模式，就是指同一个用户的访问请求都被发送到同一个 tomcat 实例上处理。
访问 http://172.25.254.1/test.jsp,不同的主机访问时会调度到不同的 tomcat 实例上处理来自同一主机的请求会交给同一个 tomcat 实例处理,此时你 down 掉当前正在响应的 tomcat 实例,nginx会自动把用户的请求调度到另一个 tomcat 实例上,同时 session 也没有丢掉。