Nginx反向代理+缓存+静态资源服务器+负载均衡

前言:

nginx经常挂在嘴边的就是反向代理,不过他还可以干很多事,我所了解的只是反向代理、静态文件缓存、静态资源服务器,对于负载均衡只是略有涉及。

Nginx (“engine x”) 是一个高性能的 HTTP 和 反向代理 服务器 ,也是一个 IMAP/POP3/SMTP 代理 服务器 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名

引用一下菜鸟教程的简介:Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。支持FastCGI、SSL、Virtual Host、URL Rewrite、Gzip等功能。并且支持很多第三方的模块扩展。Nginx的稳定性、功能集、示例配置文件和低系统资源的消耗让他后来居上,在全球活跃的网站中有12.18%的使用比率,大约为2220万个网站。

特点 (1):代理服务器,快速高效反向代理,提升网站性能。 (2):负载均衡器,内部支持Rails和PHP,也可支持HTTP代理服务器,对外进行服务。同时支持简单容错和利用算法进行负载均衡。 (3):性能方面,Nginx专门为性能设计,实现注重效率。采用Poll模型,可以支持更多的并发连接,并在大并发时占用很低内存。 (4):稳定性方面,采用分阶段资源分配技术,使CPU资源占用率低。 (5):高可用性方面,支持热备,启动迅速。

文尾:有免费nginx视频教程推荐资料

nginx安装

mac 下安装

brew install nginx

安装目录为 /usr/local/Cellar/nginx/1.17.2/ 配置文件目录为 /usr/local/etc/nginx/nginx.conf服务器默认路径 /usr/local/var/www

常用命令

mac 下的启动命令

启动 nginx快速停止关闭 nignx -s stop优雅的关闭 nginx -s quit承载配置文件 nginx -s reload查看nginx进程 ps -ef | grep nginx查看配置文件是否正确 nginx -t优雅的杀死nginx进程 kill -quit 进程号快速的杀死nginx进程 kill -term 进程号

nginx配置

nginx 文件的默认配置文件位置 /usr/local/etc/nginx/nginx.conf

打开 /usr/local/etc/nginx/ 目录可以看到,里面有很多的配置文件,其中有一个nginx.conf 和 nginx.conf.default两个配置文件,刚开始安装的时候,两个文件的内容是一样的,所以我们可以肆意的修改nginx.conf搞崩的话就直接把nginx.conf.default中的内容复制过来就行了又是一个新的nginx。

配置文件架构

// nginx全局块 ... // events块 events { ... } // http 块 http { // http全局块 ... // server块 server { ... } // http全局块 ... }

配置文件加注释说明

# 配置nginx的用户组 默认为nobody #usernobody; # 配置nginx的主线程数量 nginx是一个主线程下面多个子线程 worker_processes1; # 配置nginx的错误日志 格式为 log路径 log级别 # error_log 的日志级别为: debug info notice warn error crit alert emerg 紧急由低到高 # error_log的默认日志级别为error,那么就只有紧急程度大于等于error的才会记录在日志 # error_log 的作用域为 main http mail stream server location #error_loglogs/error.log; #error_loglogs/error.lognotice; #error_loglogs/error.loginfo; # 指定nginx进程运行文件存放地址 #pidlogs/nginx.pid; events { # poll是多路复用IO中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能 # use poll # 设置网络的连接序列化 防止惊群现象发生 默认为 on # accept_mutex on; # 设置一个进程是否同时接受多个网络连接 默认为 off # multi_accept off # 最大连接数 默认为 512 worker_connections1024; } http { # 文件扩展名和文件类型映射表 include mime.types; # 默认文件类型 default_typeapplication/octet-stream; # 日志格式 文章后面会介绍 #log_formatmain$remote_addr - $remote_user [$time_local] "$request" #$status $body_bytes_sent "$http_referer" #"$http_user_agent" "$http_x_forwarded_for"; // 允许通过日志配置 #access_loglogs/access.logmain; # sendfile 指定使用 sendfile 系统调用来传输文件。优点在于在两个文件描述符之间传递数据(完全在内核中操作),从而避免了数据在内核缓冲区和用户缓冲区之间的拷贝,效率高,称之为零拷贝,这个东西有点讲究,自行百度 # sendfile 作用域 location server http sendfileon; #tcp_nopush on; # 链接超时时间 默认 75s 作用域 http server location #keepalive_timeout0; keepalive_timeout65; # 开始gzip压缩 #gzipon; server { # 端口号 listen 8080; # 域名或ip server_namelocalhost; #charset koi8-r; #access_loglogs/host.access.logmain; # 对请求的路由进行过滤 正则匹配 location / { root html; indexindex.html index.htm; } ... } include servers/*; }

nginx 日志

nginx的日志大致分为 access_log 和 error_log。error_log 记录的是nginx的错误日志。(以下对日志的理解不是很全面,还只是基础的)

error_log

记录nginx错误日志作用域为 main http mail stream server location日志级别 debug info notice warn error crit alert emerg日志级别默认为 error 当级别高于或等于指定级别时才会记录

access_log

记录请求通过的日志作用域为 http server location limit_except日志格式默认为 combined日志格式是可以自定义的# 定义一个为 main 的日志格式 log_formatmain$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"; access_loglogs/access.logmain;

上方的 log_format 后面类似 $remote_addr 是nginx的内置变量,取值如下

$remote_addr, $http_x_forwarded_for(反向) 记录客户端IP地址 $remote_user 记录客户端用户名称 $request 记录请求的URL和HTTP协议 $status 记录请求状态 $body_bytes_sent 发送给客户端的字节数,不包括响应头的大小; 该变量与Apache模块mod_log_config里的“%B”参数兼容。 $bytes_sent 发送给客户端的总字节数。 $connection 连接的序列号。 $connection_requests 当前通过一个连接获得的请求数量。 $msec 日志写入时间。单位为秒,精度是毫秒。 $pipe 如果请求是通过HTTP流水线(pipelined)发送,pipe值为“p”,否则为“.”。 $http_referer 记录从哪个页面链接访问过来的 $http_user_agent 记录客户端浏览器相关信息 $request_length 请求的长度(包括请求行,请求头和请求正文)。 $request_time 请求处理时间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行日志写入为止。 $time_iso8601 ISO8601标准格式下的本地时间。 $time_local 通用日志格式下的本地时间。

反向代理

正向代理 反向代理

正向代理大概的意思就是,客户端发送一个请求,这个请求包含服务器地址,那么代理服务器收到了请求后会将请求发送到客户端指定的服务器,并将响应内容传递给客户端,在这个过程中,客户端是知道请求的服务器地址的,但是服务器是不知道哪个客户端请求的。VPN做的就是这个事。反向代理大概的意思就是,客户端发送一个请求给代理服务器,由代理服务器来决定这个请求该交给哪个服务器,这就是实现了服务器负载均衡,可以将请求转发到比较空闲的服务器来响应,这个时候,代理服务器就是相对于客户端的服务器,因为此时客户端也不知道请求交给了哪个服务器。

我所理解的正向代理和反向代理就是这个意思,如有错误欢迎下方评论。

proxy_pass

那么nginx使用的就是proxy_pass属性来进行反向代理的处理,使用也是很简单。下面以nodejs开启一个建立在 localhost:4000 的服务

const http = require(http); http.createServer(function(req, res){ res.writeHead(200, {Content-Type: text/plain}); res.end(server 4000); }).listen(4000);

请求 localhost:4000 可以打开我们的页面

那么我们需要做的是将 localhost:5000的所有请求都代理到4000这个server里,这样就会出现我们访问5000和访问4000一样的效果。具体配置如下

server { # 监听 localhost:5000 listen 5000; server_name localhost; # / 表示匹配所有的请求,所有的请求都会经过这个过滤器 location / { # 设定请求转发的地址 proxy_pass :4000; } }

这边需要注意的是 proxy_pass 的写法,必须是http://或者https://开头的,http头是不能省的。

请求5000端口效果如下:

本地代理至百度

上方的例子过于简单,那么这一个和上面的有点类似,这次是将4000的端口号代理到www.baidu.com。修改一下proxy_pass

server { # 监听 localhost:5000 listen 5000; server_name localhost; # / 表示匹配所有的请求,所有的请求都会经过这个过滤器 location / { # 设定请求转发的地址 proxy_pass ; } }

这样就可以了,至于这边写的是http 还是 https,这个倒是不影响,因为百度内部会自动将http转成https毕竟安全嘛。

百度代理至本地

那么按照刚刚的思路就是监听 www.baidu.com 然后设置一下 proxy_pass 为 localhost:4000

配置如下

server { listen 80; server_name www.baidu.com; location / { proxy_pass :4000; } }

试一下,是不是没有用,没有用就对了。要是这么轻松的搞定nginx还玩个蛋。那么这个里面又有点操作了,先看正确的配置,修改本地的hosts文件,mac下的文件位置为 /etc/hosts但是需要 sudo 来进行修改,毕竟这个文件比较重要嘛

sudo vim /etc/hosts

添加一句

server { listen 80; server_name baidu.com; location / { proxy_pass :4000; } }

一般在本地开发的时候我们都会修改本地的hosts文件,但是会遇到一个问题就是有的时候是有用的有的时候又没用了,我这边的解决办法是,每次修改完hosts文件就清楚浏览器的浏览数据,尤其是缓存这一块的东西。

如果遇到nginx配置完全正确hosts文件也配置了,但是还是没有用,不妨清一下缓存,至少在我这是每次都是清完缓存才有用的。

nginx跨域

跨域的解决办法就是在header里面加上允许跨域的源等信息

location / { add_header Access-Control-Allow-Origin *; add_header Access-Control-Allow-Methods GET, POST, OPTIONS; add_header Access-Control-Allow-Headers DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization; if ($request_method = OPTIONS) { return 204; } }

但是在实际项目里。origin还是不要设置为*比较好,因为前端使用axios的话在获取session这一块会出现问题。

nginx缓存

这边有一个需要注意的地方,nginx作为静态资源服务器的时候是不做缓存的,只有当nginx进行反向代理的时候才具备缓存这个功能。我一开始写了半天发现鸟用都没有,最后才发现只有做代理的时候才具备缓存。

各大浏览器本身已经具有缓存了,比如说谷歌,我们可以写一个html,然后在html引入一张图片,我们可以看看浏览器是怎么对图片这些静态资源进行缓存的。

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>Document</title> </head> <body> <img src="./static/test.jpg" alt=""> </body> </html>

这个html代码我使用http-server部署在了http-server -a 127.0.0.1 -p 4000可以看出是在127.0.0.1 4000端口。

这是首次加载的时候的状况

刷新一下

那么区别还是很大的

html文件的状态码从200到304,304状态码表明该文件是从缓存中读取jpg文件可以发现在size这一列,多了一个memory cache,这表明这个图片是从浏览器缓存中读取的各个文件的加载事件明显减少,尤其是图片

可能有的人会发现第一次加载的时候,显示的是from desk cache,那么chrome浏览器的缓存分为两种,一种是磁盘缓存一种是内存缓存,

官方文档:

Chrome employs two caches — an on-disk cache and a very fast in-memory cache. The lifetime of an in-memory cache is attached to the lifetime of a render process, which roughly corresponds to a tab. Requests that are answered from the in-memory cache are invisible to the web request API. If a request handler changes its behavior (for example, the behavior according to which requests are blocked), a simple page refresh might not respect this changed behavior. To make sure the behavior change goes through, call handlerBehaviorChanged() to flush the in-memory cache. But dont do it often; flushing the cache is a very expensive operation. You dont need to call handlerBehaviorChanged() after registering or unregistering an event listener.

大概意思就是:chrome有两种缓存,一种是desk cache一种是memory cache,然后memory cache的效率高于前者。

那么打开chrome devtools点开图片可以发现

在cache-control后面有一个max-age,那么具体的有关缓存的技术这边就不说了我回头整理一下

那么针对不同类型的文件进行缓存还是很简单的,需要注意的在于location的正则匹配

那么第一种最简单的缓存,就是直接设置expires 缓存时间

设置expires

location ~ .*\.(jpg|png)$ { proxy_pass :4000; expires 3m; }

expires是以秒为单位的,那么我们设置为3m 也就是180秒,发现确实是可以的。

proxy_cache_path 的使用

那么我们也可以指定我们的nginx缓存目录,通过proxy_cache_path 属性

proxy_cache_path /tmp/cache/test levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off; location ~ .*\.(jpg|png)$ { proxy_pass :4000; proxy_cache my_cache; proxy_cache_valid 200 304 1y; proxy_cache_valid any 1m; expires 1y; } proxy_cache_path 执行缓存文件的目录,如果没有的话需要提前创建,不然nginx会报错levels 采用2级目录来存储key_zone 在共享内存中设置一块存储区域来存放缓存的key和metadata(类似使用次数),这样nginx可以快速判断一个request是否命中或者未命中缓存,1m可以存储8000个key,10m可以存储80000个keymax_size 最大cache空间,如果不指定,会使用掉所有disk space,当达到配额后,会删除最少使用的cache文件inactive 未被访问文件在缓存中保留时间,在指定时间内未被访问的文件会被删除use_temp_path 如果为off,则nginx会将缓存文件直接写入指定的cache文件中,而不是使用temp_path存储,official建议为off,避免文件在不同文件系统中不必要的拷贝;proxy_cache 启用proxy cache,对应着配置的key_zone;proxy_cache_valid 根据不同的状态码设置不同的缓存时间

可以查看一下nginx进程,会发现这个时候是有缓存的进程在开着的。

这边可以看到,我们的图片的缓存时间已经被设置为1年

location匹配优先级

在缓存中需要注意的一点就是location的匹配规则和优先级

= 开头表示精确匹配^~ 开头表示uri以某个常规字符串开头,不是正则匹配;~ 开头表示区分大小写的正则匹配;~* 开头表示不区分大小写的正则匹配;/ 通用匹配, 如果没有其它匹配,任何请求都会匹配到;

upstream负载均衡

负载均衡是nginx的另一大特点,可以配置多个服务器,将请求分发到最合适的那台服务器,避免某一台服务器请求太多而崩溃。使用upstream属性来配置

upstream favtomcat { server 192.168.1.100:4000; server 192.168.1.111:5000; } location / { root html; indexindex.html index.htm; # 对应上方的 favtomcat proxy_pass ; }

这是最基础的负载均衡配置,采用的是轮询的策略进行负载,每个请求按时间顺序逐一分配到不同的后端服务器,适用于图片服务器集群和纯静态页面服务器集群。 优点: 方式简便、成本低廉 缺点: 可靠性低和负载分配不均衡

那么upstream还有其他的负载策略

weight权重

可以给每一台服务器设置一个权重,这样权重高的干的活也就会多一点

upstream favtomcat { server 192.168.1.100:4000 weight=5; server 192.168.1.111:5000 weight=10; }

ip_hash

这种方式是基于客户端的ip地址,采用hash算法计算下一个请求要选择哪一个服务器,这样固定的ip会访问同一个服务器,可以解决session问题

upstream favtomcat { ip_hash; server 192.168.1.100:4000; server 192.168.1.111:5000; }

least_conn最少链接

会将下一个请求分发到当前链接数最少的一台服务器

upstream favtomcat { least_conn; server 192.168.1.100:4000; server 192.168.1.111:5000; }

fair

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

upstream favtomcat { fair; server 192.168.1.100:4000; server 192.168.1.111:5000; }

url_hash

按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器

upstream backserver { server squid1:3128; server squid2:3128; hash $request_uri; hash_method crc32; }

推荐资料:

NGINX模块开发

服务端网络处理,Redis到Memcached,再到Nginx

NGINX源码解读

关注后台回复:1,领取视频教程学习,希望对你有帮助