微软中国MSDN 点击上方蓝字关注我们
大家好，我是本期的实验室研究员——谢乾坤。今天我将通过实验和完整的操作过程，向大家介绍如何搭建属于自己的隧道代理。接下来就让我们一起到实验室中一探究竟吧！
微软MVP实验室研究员
谢乾坤前网易高级数据挖掘工程师。微软最有价值专家（MVP）。已出版图书《Python 爬虫开发，从入门到实战》、《左手 MongoDB，右手 Redis——从入门到商业实战》。独立开发维护开源项目 GNE（获得近2300 Star）。前极客学院爬虫讲师，课程播放量超过10万。
思路浅析
做爬虫的同学可能听说过隧道代理这个词。所谓隧道代理，就是不需要手动更换IP地址的代理服务。开发者只需要把一个特定的地址设置成代理，那么客户端在请求网络的时候，自动就会选择真正的IP地址。于是服务器每次收到的请求，都来自于不同的代理IP。
本次实验，我们要使用OpenResty来实现隧道代理。OpenResty 是一个基于Nginx 与Lua 的高性能Web 平台。它可以帮我们实现网络请求的转发。
大体思路是这样的，我们首先开发一个代理池服务，用来维护一个代理池，确保池子里面的代理IP都是有效的代理。然后使用OpenResty实现一个转发服务，在这个服务里面，每次用户的请求都会从代理池中随机选择一个IP地址来转发请求。最后，我们把OpenResty服务对应的IP地址拿给客户端作为代理IP。
什么是隧道代理？我们来看下面这张截图：
所谓隧道代理，就是一个能帮你自动更换代理 IP 的代理服务。在你的代码里面，你只需要把一个入口代理地址写死，然后正常发起请求，而目标服务器接收到的请求，每一次都是不同的代理地址。
在某代理网站上，隧道代理50并发每秒的价格是4000元/月：
而常规的，先请求接口拿到一批代理 IP，再选一个发起请求的原始代理服务器，一个月价格才600多元：
所以，如果我们能自己做一个隧道代理，将会省下很多钱！
隧道代理的原理，跟常规代理的不同之处，用下面这两张图就能说清楚：
传统代理服务
要自己开发一个这样的隧道代理，我们需要做两步：
构建一个代理池
实现代理自动转发
构建代理池
假设你从代理供应商手上买到的便宜代理地址为：，直接在浏览器上面请求，页面效果如下图所示：
现在，你需要做的就是写一个程序，周期性访问这个url，拉取当前最新可用的IP地址，然后把它放到Redis中。
这里，我们使用Redis的Hash这个数据结构，其中Hash的字段名就是IP:端口，里面的值就是跟每个IP相关的一些信息。
你这个程序需要确保，当前在Redis里面的代理地址，全部都是可用的。这里，我给出了一个示例程序：
"""ProxyManager.py~~~~~~~~~~~~~~~~~~~~~简易代理池管理工具，直接从URL中读取所有最新的代理，并写入Redis。"""import yamlimport timeimport jsonimport redisimport datetimeimport requestsclass ProxyManager:def __init__(self):self.config = self.read_config()self.redis_config = self.config[redis]self.client = redis.Redis(host=self.redis_config[host],password=self.redis_config[password],port=self.redis_config[port])self.instance_dict = {}def read_config(self):with open(config.yaml) as f:config = yaml.safe_load(f.read())return configdef read_ip(self):resp = requests.get(self.config[proxy]).textif { in resp:return []proxy_list = resp.split()return proxy_listdef delete_ip(self, live_ips, pool_ips):ip_to_removed = set(pool_ips) - set(live_ips)if ip_to_removed:print(ip to be removed:, ip_to_removed)self.client.hdel(self.redis_config[key], *list(ip_to_removed))def add_new_ips(self, live_ips, pool_ips):ip_to_add = set(live_ips) - set(pool_ips)if ip_to_add:print(ip to add:, ip_to_add)ips = {}for ip in ip_to_add:ips[ip] = json.dumps({private_ip: ip,ts: datetime.datetime.now().strftime(%Y-%m-%d %H:%M:%S)})self.client.hset(self.redis_config[key], mapping=ips)def run(self):while True:live_ips = self.read_ip()pool_ips = [x.decode() for x in self.client.hgetall(self.redis_config[key])]self.delete_ip(live_ips, pool_ips)self.add_new_ips(live_ips, pool_ips)time.sleep(40)if __name__ == __main__:manager = ProxyManager()manager.run()其中，我把Redis相关的配置、代理供应商的URL写到了一个yaml配置文件中，防止被你们看到。配置文件的格式如下图所示：
由于我这个代理供应商提供的IP，有效期是1-5分钟，所以保险起见，我每40秒更换一次IP。更换的时候，采用了增量更换的方式。把当前拉取的IP和Redis里面的已有IP进行对比。不在这次拉取的IP全部从Redis移除，然后把新增的IP加到Redis中。
大家在实际过程中，还可以加一些代理校验的逻辑，确保从URL拉下来的代理也进行有效性检查，发现无效的立刻移除。
实现自动转发
要实现自动转发，我们可以使用OpenResty。这是一个基于Nginx和Lua实现的高性能Web平台。通过它，我们可以使用Lua语言实现一些逻辑，例如从Redis读取数据，把来源请求转发到上游代理服务器……
因此，我们使用OpenResty搭建一个转发服务。并把这个转发服务所在服务器的IP地址作为我们的入口IP地址。在使用Requests等等网络请求客户端发送请求的时候，只需要把这个入口IP地址设置为代理。那么，当客户端发送请求的时候，请求首先到了OpenResty。然后它从Redis中随机选一个代理IP来作为上游代理，并把刚刚发来的请求转发到上游代理。从而实现隧道代理的效果。
Lua是一门非常老的语言，它的语法不少地方跟Python不太一样。不过你不用担心，这个配置文件我已经写好了。大家拿过来改一改就能用。
对应的配置文件如下图所示：
worker_processes16;#nginx worker 数量error_log /usr/local/openresty/nginx/logs/error.log; #指定错误日志文件路径events {worker_connections 1024;}stream {## TCP 代理日志格式定义log_format tcp_proxy $remote_addr [$time_local] $protocol $status $bytes_sent $bytes_received $session_time "$upstream_addr" "$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time";## TCP 代理日志配置access_log /usr/local/openresty/nginx/logs/access.log tcp_proxy;open_log_file_cache off;## TCP 代理配置upstream backend{server 127.0.0.2:1101;# 爱写啥写啥反正下面的代码也给你改了balancer_by_lua_block {-- 初始化balancerlocal balancer = require "ngx.balancer"local host = ""local port = 0host = ngx.ctx.proxy_hostport = ngx.ctx.proxy_port-- 设置 balancerlocal ok, err = balancer.set_current_peer(host, port)if not ok thenngx.log(ngx.ERR, "failed to set the peer: ", err)end}}server {preread_by_lua_block{local redis = require("resty.redis")--创建实例local redis_instance = redis:new()--设置超时（毫秒）redis_instance:set_timeout(3000)--建立连接，请在这里配置Redis 的 IP 地址、端口号、密码和用到的 Keylocal rhost = "123.45.67.89"local rport = 6739local rpass = "abcdefg"local rkey = "proxy:pool"local ok, err = redis_instance:connect(rhost, rport)ngx.log(ngx.ERR, " ", ok, " ", err)-- 如果没有密码，移除下面这一行local res, err = redis_instance:auth(rpass)local res, err = redis_instance:hkeys(rkey)if not res thenngx.log(ngx.ERR,"res num error : ", err)return redis_instance:close()endmath.randomseed(tostring(ngx.now()):reverse():sub(1, 6))local proxy = res[math.random(#res)]local colon_index = string.find(proxy, ":")local proxy_ip = string.sub(proxy, 1, colon_index - 1)local proxy_port = string.sub(proxy, colon_index + 1)ngx.log(ngx.ERR,"redis data = ", proxy_ip, ":", proxy_port);ngx.ctx.proxy_host = proxy_ipngx.ctx.proxy_port = proxy_portredis_instance:close()}#下面是本机的端口，也就是爬虫固定写死的端口 listen 0.0.0.0:9976; #监听本机地址和端口，当使用keeplived的情况下使用keeplived VIP proxy_connect_timeout 3s; proxy_timeout 10s; proxy_pass backend; #这里填写对端的地址}}需要修改的地方，我在配置文件里面已经做好的注释。具体而言，需要修改地方包含：
Redis的地址、端口、密码和 Key。如果你的Redis没有密码，可以把设置密码的这一行删掉
入口代理的端口
设置好了这些配置以后，我们就可以使用Docker来启动它。Docker的配置文件极其简单：
from openresty/openresty:centoscopy nginx_redis.conf /usr/local/openresty/nginx/conf/nginx.conf然后，执行命令构建和运行：
docker build --network host -t tunnel_proxy:0.01 .docker run --name tunnel_proxy --network host -it tunnel_proxy:0.01运行以后，你会看到Docker的命令行似乎卡住了。这是正常请求。因为需要你有了请求，它才会输出内容。
现在，你可以用Requests赶快写一段代码来进行验证：
import requestsimport timeproxies = {http: http://13.88.220.207:9976}for _ in range(10):resp = requests.get(http://httpbin.org/ip, proxies=proxies).textprint(resp)time.sleep(1)运行效果如下图所示。
说明隧道代理搭建成功。目前隧道代理我已经稳定运行了半年，从来没有出过问题，大家可以放心使用。
总结
在这个项目中，我们学习了怎么维护一个代理池，怎么使用OpenResty构建隧道代理服务。
对于上述实验中涉及到的各类技术和服务，大家可以通过下列链接进一步了解。
* OpenResty官方网站:
https://openresty.org/cn/
* 启发我这篇文章的网站：
openresty正向代理搭建:
最后，本文受到 @萌木盖 的文章：openresty正向代理搭建 的启发，并在该文章基础上进行改进。特别感谢原作者。
如果本文讲到的方法，能帮你节省下不少购买隧道代理的钱，那么请考虑拿出其中的一小部分，加入我的知识星球，成为未闻Code·Pro会员。加入星球，你除了能获得在群中已有的全部福利外，还会额外获得：
问题的优先解答和一对一答疑
职业生涯规划咨询
面试技巧和经验
定期开展的专属直播分享
定期抽奖活动
……
微软MVP项目介绍
微软最有价值专家是微软公司授予第三方技术专业人士的一个全球奖项。28年来，世界各地的技术社区领导者，因其在线上和线下的技术社区中分享专业知识和经验而获得此奖项。
MVP是经过严格挑选的专家团队，他们代表着技术最精湛且最具智慧的人，是对社区投入极大的热情并乐于助人的专家。MVP致力于通过演讲、论坛问答、创建网站、撰写博客、分享视频、开源项目、组织会议等方式来帮助他人，并最大程度地帮助微软技术社区用户使用Microsoft技术。更多详情请登录官方网站：
微软MVP，期待你加入