抛弃Squid,部署基于Centos7高性能Varnish缓存代理服务器

Varnish是一款高性能且开源的反向代理服务器和HTTP加速器。Varnish具有高性能、速度快、管理更加方便等优点,现在Varnish迅速发展,目前很多大型的网站都开始尝试使用Varnish来代替squid。

Varnish的主要特征:

(1)缓存代理位置:可以使用内存也可以使用磁盘;支持虚拟内存的使用;

(2)有精确的时间管理机制,即缓存的时间属性控制;

(3)状态引擎架构:在不同的引擎上完成对不同的缓存和代理数据进行处理;

(4)缓存管理:以二叉堆管理缓存数据,做到数据的及时清理;

Varnish 与 Squid 的对比

相同点

都是一个反向代理服务器,并且都是开源软件

Varnish 的优势

(1)稳定性:Varnish和Squid在完成相同负载的工作时,Squid服务器发生故障的几率要高于Varnish,因为使用Squid需要经常重启;

(2)访问速度更快:Varnish所有缓存的数据都是直接从内存中读取,而Squid是从硬盘中读取;

(3)支持更多的并发连接:因为Varnish的TCP连接和释放的速度比Squid快很多

Varnish 的劣势

(1)Varnish进程一旦重启,缓存数据都会从内存中完全释放,此时所有请求都会发送到后端服务器,在高并发情况下,会给后端服务器造成很大压力;

(2)在Varnish使用中如果使用单个URL的请求通过负载均衡时,则每次请求都会落在不同的Varnish服务器中,造成请求都会到后端服务器;而且同样的秦桂在多台服务器上缓存,也会造成Varnish的缓存资源的浪费,造成性能下降;

Varnish 劣势的解决方案

针对劣势一:在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动,而且后面需要 跟多台 squid/nginx 服务器。主要为了防止前面的 varnish 服 务、服务器被重启的情况下, 大量请求穿透 varnish,这样 squid/nginx 可以就担当第二层 CACHE,而且也弥补了 varnish 缓 存在内存中重启都会释放的问题;

针对劣势二:可以在负载均衡上做 url 哈希,让单个 url 请求固定请求到一台 varnish 服务器 上;

安装Varnish(这里使用4.x版本)

主要是先安装varnish,然后后端安装2个web服务器,可以使用Apache。

[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-develpkgconfig python-docutils python-sphinx [root@localhost ~]# tar zxf varnish-4.0.3.tar.gz [root@localhost ~]# cd varnish-4.0.3/ [root@localhost varnish-4.0.3]# ./configure && make && make install [root@localhost varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish/ //复制Varnish主配置文件 [root@localhost /]# vim /usr/local/var/varnish/example.vcl //编辑Varnish主配置 vcl 4.0; import directors; import std; # Default backend definition. Set this to point to your content server. probe backend_healthcheck { .url="/"; #访问后端服务器根路径 .interval = 5s; #请求时间间隔 .timeout = 1s; #请求超时时间 .window = 5;#指定轮询次数5次 .threshold = 3; #如果出现3次失败则表示后端服务器异常 } backend web1 {#定义后端服务器 .host = "192.168.1.7";#要转向主机(即后端主机)的 IP 或域名 .port = "80";#指定后端服务器的端口号 .probe = backend_healthcheck;#健康检查调用backend_healthcheck定义的内容 } backend web2 { .host = "192.168.1.8"; .port = "80"; .probe = backend_healthcheck; } acl purgers { #定义访问控制列表 "127.0.0.1"; "localhost"; "192.168.1.0/24"; !"192.168.1.8"; } sub vcl_init{ #调用 vcl_init 初始化子程序创建后端主机组,即 directors newweb_cluster=directors.round_robin(); #使用 new 关键字创建 drector 对象,使用 round_robin(轮询) 算法 web_cluster.add_backend(web1); #添加后端服务器节点 web_cluster.add_backend(web2); } sub vcl_recv { set req.backend_hint = web_cluster.backend(); #指定请求的后端节点web_cluster定义的后端节点 if (req.method == "PURGE") { #判断客户端的请求头部是否是PURGE if (!client.ip ~ purgers) { #如果是,再判断客户端的IP地址是不是在ACL访问控制列表中. return (synth(405, "Not Allowed."));#如果不是,返回给客户端405状态码并且返回定义的页面. } return (purge); #如果是ACL定义的,则交给purge处理. } if (req.method != "GET" && req.method != "HEAD" && req.method != "PUT" && req.method != "POST" && req.method != "TRACE" && req.method != "OPTIONS" && req.method != "PATCH" && req.method != "DELETE") {#判断客户端的请求类型 return (pipe); } if (req.method != "GET" && req.method != "HEAD") { return (pass);#如果不是GET及HEAD则交给pass. } if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") { return (pass); #当客户端访问的是.php等结尾的交给pass处理. } if (req.http.Accept-Encoding) { if(req.url~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") { unset req.http.Accept-Encoding; #取消客户端接收的压缩类型 } elseif (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip";#如果有gzip类型,标记gzip类型. } elseif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; } else { unset req.http.Accept-Encoding;#其他未定义的页面也取消客户但接收的压缩类型. } } if(req.url~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") { unset req.http.cookie;#取消客户端的cookie值. return (hash);#将请求转发给hash子程序,也就是查看本地缓存. } if (req.restarts == 0) {#判断客户端是不是第一次请求 if (req.http.X-Forwarded-For) { #如果是第一次请求,设置获取客户端的IP地址. set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } return (hash); } sub vcl_hash { hash_data(req.url); #查看客户端请求的页面,并且进行hash if (req.http.host) { hash_data(req.http.host);#设置客户端的主机 } else { hash_data(server.ip);#设置服务器的IP } return (lookup); } sub vcl_hit { if (req.method == "PURGE") { #如果是HIT并且当客户端请求的类型是PURGE返回的200的状态码,并返回相应页面. return (synth(200, "Purged.")); } return (deliver); } sub vcl_miss { if (req.method == "PURGE") { return (synth(404, "Purged.")); #如果是miss返回404 } return (fetch); } sub vcl_deliver { if (obj.hits > 0) { set resp.http.CXK = "HIT-from-varnish"; #设置http头部X-Cache =hit set resp.http.X-Cache-Hits = obj.hits;#返回命令的次数 } else { set resp.http.X-Cache = "MISS"; } unset resp.http.X-Powered-By;#取消显示web版本 unset resp.http.Server;#取消显示varnish服务 unset resp.http.X-Drupal-Cache; #取消显示缓存的框架 unset resp.http.Via;#取消显示文件内容来源 unset resp.http.Link;#取消显示HTML的超链接地址 unset resp.http.X-Varnish;#取消显示varnish的id set resp.http.xx_restarts_count = req.restarts; #设置客户端请求的次数 set resp.http.xx_Age = resp.http.Age; #显示缓存文件的时长 #set resp.http.hit_count = obj.hits; #显示缓存命中的次数 #unset resp.http.Age; return (deliver); } sub vcl_pass { return (fetch); #将后端服务器返回的数据缓存到本地 } sub vcl_backend_response { set beresp.grace = 5m; #缓存额外宽限时间 if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) { set beresp.uncacheable = true; #当后端服务器相应状态码是449等,不缓存 } if (bereq.url ~ "\.(php|jsp)(\?|$)") { set beresp.uncacheable = true;#当是PHP的页面不缓存 } else { if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") { set beresp.ttl = 15m;#当是上面结尾的,缓存15分钟 unset beresp.http.Set-Cookie; } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") { set beresp.ttl = 30m; #缓存30分钟 unset beresp.http.Set-Cookie; } else { set beresp.ttl = 10m;#生存时间10分钟 unset beresp.http.Set-Cookie; } } return (deliver); } sub vcl_purge { return (synth(200,"success")); } sub vcl_backend_error { if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504) { return (retry);#如果状态码是上述其中之一,则重新请求 } } sub vcl_fini { return (ok); } [root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80 //启动服务

如果重启Varnishd如下:

第一台web提供页面

第二台

[root@localhost ~]# yum -y install httpd [root@localhost ~]# echo 第二台 > /var/www/html/index.html [root@localhost ~]# systemctl start httpd

第一次访问:

第二次访问即有缓存了