在做爬虫的过程中，经常会遇到这样的情况，一开始爬虫正常运行，正常抓取数据，但是过了一会可能就报错，比如403Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。
出现这种现象的原因是网站采取了一些反爬虫措施。比如服务器会检测某个IP在单位时间内请求的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回错误信息，这种情况可以称为封IP。
对于爬虫来说，由于爬虫爬取速度过快，爬取过程中可能遇到一个IP访问过于频繁的问题，此时网站就会让我们输入验证码登录或直接封锁IP。
使用代理隐藏真实IP，让服务器误以为是代理服务器在请求自己，通过爬取途中不断更换代理，就不会被封锁，就可以达到我们的目的。
HTTP代理实际上指的是代理服务器，它的功能是代理网络用户去取得网络信息。这样我们可以正常访问网页，且Web服务器识别出的IP不再是我们的本机IP，成功实现了IP伪装。这就是代理的基本原理。
HTTP代理的作用有哪些呢？
1、突破自身IP访问限制，访问一些平时不能访问的站点；
2、访问一些单位或团体的内部资源；
3、隐藏真实IP，对于爬虫来说，用代理就是为了隐藏IP防止被封。
4、提高访问速度，通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时被保存到缓冲区，当其他用户访问相同信息时，直接从缓冲区提取信息。