爬虫类在制作过程中，经常会遇到这样的情况，刚开始爬虫时，爬虫通常都是正常的抓取数据，但是过了一会儿就会报错，比如403Forbidden，此时打开网页一看，可能会发现IP访问率太高等。造成这一现象的原因是网站采取了一些反爬虫措施。
举例来说，服务器将检测一个单位时间内某个IP的请求数。当超出阈值时，它会直接拒绝服务，并返回错误信息。这就是所谓的封闭IP。
因为服务器已检测到某个IP单位时间的请求数，所以解决方案是用某种方法伪装IP，使服务器无法识别我们自己的请求。
这种方法就是使用代理，代理的使用方法以后再讲，首先要理解代理的基本原理。
基本原理
代理实际上是指代理服务器，其作用是代理网络用户获取网络信息。
这是便于我们直接理解的一张图
本机即客户端，不直接向Web服务器发送请求，而是向代理服务器发送请求，由代理服务器发送到Web服务器，代理服务器再将返回服务器的响应转发给客户端。
从而使我们能够正常访问网页，网络服务器识别的IP不再是我们的本地IP，成功地实现了IP伪装。
代理的作用是什么？
1、打破自己的IP接入限制，访问一些平时无法访问的网站。
2、对特定单位或团体的内部资源的访问。
3、为提高访问速度，通常代理服务器设置较大的硬盘缓冲区，外部信息通过时，同时保存在缓冲区中，其他用户在访问相同信息时，直接从缓冲区中提取信息。
4、隐藏了真实IP，对于爬虫来说，使用代理就是隐藏IP，防止被封。
那么爬虫代理能达到什么？
对于爬虫动物来说，由于爬虫速度过快，爬虫时可能会遇到访问IP过多的问题，此时网站会让我们输入验证码登陆或者直接封锁IP。
用代理隐藏真正的IP，让服务器误以为代理服务器需要自己，在爬虫的过程中不断更换代理，不会被封锁，从而达到我们的目的。