Tomcat结合Nginx实现负载均衡与动静态分离

什么是动静态分离#

我们都知道一个网站中包含各种文件，如css文件，或者是媒体文件如jpg，png等；不同的web服务器擅长的领域不同，比如Nginx就是响应静态资源请求的王者，而Tomcat是专门用来处理Java应用的web服务器，虽然Tomcat一样可以解析静态资源请求，但在效率上就没法和Nginx相比了；
因此，动静态分离就是利用Nginx的转发技术，当用户请求了servlet,jsp等文件时，将请求转发给Tomcat服务器，当用户请求的是其他的静态资源时，让Nginx代理服务器直接进行解析和响应，以此提升整体的响应效率。

动静态分离架构图#

部署负载均衡与动静态分离#

机器环境：

Hostname	公网IP	内网IP	作用
lb-6	10.0.0.6	172.16.1.6	Nginx负载均衡
web-7	10.0.0.7	172.16.1.7	Tomcat
web-9	10.0.0.9	172.16.1.9	Tomcat
master-61	10.0.0.61	172.16.1.61	Ansible
nfs-31	10.0.0.31	172.16.1.31	NFS

使用Ansible部署Tomcat#

1
- name: setup JDK and Tomcat
2
  hosts: web
3
  tasks:
4
    - name: 01 - copy jdk package
5
      copy:
6
        src: /opt/jdk-8u221-linux-x64.tar.gz
7
        dest: /opt/
8
    - name: 02 - unarchive jdk package
9
      unarchive:
10
        src: /opt/jdk-8u221-linux-x64.tar.gz
11
        dest: /opt/
12
        remote_src: true
13
    - name: 03 - create soft link for jdk
14
      file:
15
        state: link
16
        src: /opt/jdk1.8.0_221/
17
        dest: /opt/jdk8
18
    - name: 04 - configure PATH variable
19
      lineinfile:
20
        dest: /etc/profile
21
        line: "{{ item }}"
22
      loop:
23
        - export JAVA_HOME=/opt/jdk8
24
        - export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
25
        - export CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
26
    - name: 05 - download tomcat
27
      get_url:
28
        url: https://archive.apache.org/dist/tomcat/tomcat-8/v8.0.27/bin/apache-tomcat-8.0.27.tar.gz
29
        dest: /opt/
30
    - name: 06 - unarchive tomcat
31
      unarchive:
32
        src: /opt/apache-tomcat-8.0.27.tar.gz
33
        dest: /opt/
34
        remote_src: true
35
    - name: 07 - create soft link for tomcat
36
      file:
37
        src: /opt/apache-tomcat-8.0.27
38
        dest: /opt/tomcat8
39
        state: link

执行完剧本后,还需要手动使配置的JAVA_HOME等变量生效

1
source /etc/profile

这是因为ansible远程执行的是non-login shell，不会加载profile和bash_profile下的变量，因此需要手动登录执行source；或者也可以写入~/.bashrc中，然后source一下~/.bash_profile使其生效。

部署NFS服务端#

安装nfs-utils和rpcbind工具包#

1
yum install nfs-utils rpcbind -y

创建存放java apps的文件夹#

1
mkdir /opt/jpress

修改挂载配置#

1
echo '/opt/jpress 172.16.1.0/24(rw,sync,all_squash) ' >> /etc/exports

修改挂载目录的属主属组#

1
chown -R nfsnobody.nfsnobody /opt/jpress

下载java app到挂载目录#

这里使用的是jpress做实验，下载地址：https://www.jpress.cn/club/post/116

部署NFS客户端(在web服务器上)#

在两台机器上安装nfs-utils#

1
yum install nfs-utils -y

在tomcat的webapps目录下创建jpress文件夹#

1
mkdir /opt/tomcat8/webapps/jpress

1
mount -t nfs 172.16.1.31:/opt/jpress /opt/tomcat8/webapps/jpress

解压jpress.war#

tomcat默认会对webapps目录下的.war或.jar包进行自动解压，但因为我们是通过远程挂载的方式执行的，war包在自创的目录下，tomcat识别不到，因此需要手动解压，使用jar命令：

1
jar -xvf /opt/tomcat8/webapps/jpress/jpress.war

然后可以将war包删掉了。

部署Nginx负载均衡#

安装好Nginx，修改配置文件nginx.conf

1
  upstream tomcat_pool {
2
  server 172.16.1.9:8080;
3
  server 172.16.1.7:8080;
4
  }
5
  server {
6
      listen       80;
7
      listen       [::]:80;
8
      server_name  _;
9

10
  location / {
11
      proxy_pass http://tomcat_pool;
12
      include /etc/nginx/proxy_params.conf;
13
}

转发参数：

1
proxy_set_header Host $http_host;
2
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
3
proxy_connect_timeout 30;
4
proxy_send_timeout 60;
5
proxy_read_timeout 60;
6
proxy_buffering on;
7
proxy_buffer_size 32k; proxy_buffers 4 128k;

到此为止负载均衡的配置就基本完毕了。

实现动静态分离#

创建一个新的文件用于测试；这里用得是一个能够生成随机数的jsp文件作为动态资源，和一张jpg图片作为静态资源，动静态分离主要还是基于nginx的location匹配规则。
有两种匹配方式：

基于文件后缀匹配
基于文件路径匹配

基于文件后缀匹配#

一个典型的例子如下：

1
location ~ .*\.(jpg|png|html){
2
        root /opt/static/;
3
        expires 5d;
4
}

当用户请求的文件后缀和规则向匹配时，反向代理服务器会自动在本机的对应目录(通过nfs挂载的目录)中搜索内容并返回；当然，最好的方法还是再增设一个Nginx静态请求解析服务器，负载均衡服务器只用作请求转发。

基于文件路径匹配#

这种方式需要运维或开发者预先设定好用于专门存放静态文件内容的目录；例子：

1
location /static {
2
    alias   /usr/share/nginx/staticrs;
3
    index  index.html;
4
}

生成随机数的jsp文件#

1
<%@ page language="java" contentType="text/html; charset=UTF-8"
2
    pageEncoding="UTF-8"%>
3
<!DOCTYPE html>
4
<html>
5
<head>
6
    <meta charset="UTF-8">
7
    <title>随机数生成器</title>
8
</head>
9
<body>
10
    <h1>随机数生成器</h1>
11

12
    <%-- 使用Java代码生成随机数 --%>
13
    <%
14
        java.util.Random random = new java.util.Random();
15
        int randomNumber = random.nextInt(100);
16
        out.println("<p>随机数：" + randomNumber + "</p>");
17
    %>
18
</body>
19
</html>