对于很多互联网工作者来说，爬虫早已变成获取数据的不可或缺的方式，但是在使用爬虫频繁爬取相同网站时，时常会被网站的IP反爬虫机制给禁掉，为了更好地解决封禁IP的问题，一般会使用以下两种方式：
爬虫为什么要使用代理ip
1、放慢爬取速度，减少对于目标网站引起的压力，但会减少单位时间类的爬取量。
2、因为你要采集的网址会封禁你的请求IP，导致你的请求无法获取到正确的数据。代理IP可以起到中间层的作用，使用代理IP以后能够让爬虫伪装自己的真实IP。从而无法实施封禁行为。
3、当然，并不是所有的代理IP都能起到这个作用。代理IP分为高匿名、透明（普通匿名也认为是透明）两种；透明代理IP服务器端看到的是你的真实IP和代理IP，高匿名代理IP服务器端只能看到代理IP。所以说，还必须使用高匿名代理IP。
要想有效突破反爬虫机制继续高频率爬取，使用一款优质的代理IP是不可或缺的，这里就不能不推荐神龙HTTP代理了—价格不贵且稳定性要远远高于免费的代理IP。神龙HTTP代理不仅有着海量的资源，而且还可以实现极速更换IP地址，是非常简单方便的代理服务器，更为重要的是能够 确保安全性。
�x۠�6