大家应该在上网的时候都遇到过“访问频率太高”这样的网站提示，我们需要等待一段时间或者输入一个验证码才能解封，但这样的情况之后还是会出现。出现这个现象的原因就是我们所要爬取的网页采取了反爬虫的措施，比如当某个ip单位时间请求网页次数过多时，服务器会拒绝服务，这种情况就是由于访问频率引起的封ip，这时就需要利用代理ip来切换不同的IP，再继续进行访问。因此，代理ip可以让网页抓取变得更轻松。
目前网上有许多代理ip，有免费的也有付费的，免费的虽然不用花钱但有效的代理很少且不稳定，付费的IP无疑是更好的选择。
在购买付费代理IP之前，选择一个NetNut的代理测试计划，应该帮助你更好的了解这个代理系统是不是符合你的需要，能帮你更好地完成数据收集和抓取的任务。