（一）降低访问速度速度
减小对于目标网站造成的压力。不要过快的访问，不然会导致IP被封。我们首先要检测出网站设置的限制速度阈值，这样我们才可以设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，因为过于规律而被系统检测到，也会导致IP被封。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。
（二）设置代理ip
降低了访问速度，难以避免的影响到了爬取的抓取效率，不能高效地抓取，如此慢的抓取速度与人工抓取有何区别呢？都没有了使用爬虫抓取的优势了。突破反爬虫机制继续高频率抓取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用代理IP，来切换不同的IP爬取内容。使用代理IP简单来讲就是让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。选择代理时一定要选择高匿代理，这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。
（三）建立IP池
池子尽可能的大，且不同IP均匀轮换。线程，多进程，这里要配合使用代理，不同的线程使用不同的IP地址，就像是同时有不同的用户在访问，如此就能极大地提高爬虫的爬取效率了。对于能够提示效率的代理IP，爬虫要选择优质的使用，质量差的也是会影响效果的。
建议选择高质量代理IP网站。
感兴趣的朋友，可以尝试免费测试，赠送10000个ip
品易HTTP-爬虫代理IP-千万动态HTTP代理IPhttp.py.cn/?utm-source=py&utm-keyword=?1007现在网络爬虫抓取数据的技术已经越来越成熟，让网络爬虫的工作更加顺利，效率也得到了很大的提高。那么网络爬虫要怎么选择ip代理呢？
主要用到：
1.高匿代理ip
它不但将你的真实IP完全隐藏，并且不会改变你的访问请求，让对方服务器毫无察觉犹如一个真实的客户在浏览访问网页，另外客户的IP是隐藏不被查询到的.这样的话客户端就不会认为使用者运用了代理，另外也保障了使用者的隐私。因此，高匿代理的隐蔽度是最高的。
2.现在一般都会选用短效代理ip
一提到短效优质代理ip，相信大家都很熟悉，短效代理ip的存活时间非常短，基本只有几分钟，但是它的效率非常高，而且每天的需求量非常大
那么作为企业用户，如何能找到优质、稳定、可靠的代理ip厂家呢？其实在沟通的时候，重点关注几个方面，就可以找到优秀的代理ip 产品。
1、不要被低价蒙蔽，不要被折扣欺骗
如果对方是一个正规合格的代理ip厂家，肯定有管理团队、技术团队和销售团队，因此价格肯定是统一官网定价，并且不会随意进行折扣。因为要提供优秀的产品，在合同执行期代理ip 厂家必须考虑成本的支出，有一定合理的利润，不会用低价去诱导客户签订长期订单合同，导致无法执行。
2、进行代理产品的综合评测
如果爬虫项目是长期需要代理ip，那么一定要做性能压力测试，包括联通率、请求延迟、并发、带宽、请求缓存等，这些基本的测试程序值得研发投入，只有通过综合测评分析，才能找出优秀的代理产品。
3、沟通的过程中了解对方的技术实力
代理厂家良莠不齐，大部分都是 1、2 个人的团队，真正有能力做技术支持服务的代理厂家，通过产品介绍、技术讨论、甚至测评分析，是可以判断对方的团队实力的，一个小诀窍就是和对方客服聊爬虫技术细节，要求分别转工程师和研发人员沟通，只要对方有实力，可以马上对接相应的人员，并做出正确的解答。有技术实力的代理厂家，能够在爬虫代理使用的过程中对爬虫研发给予有力的帮助，协助分析问题、指出重点方向甚至提出建议。
4、行业口碑
代理行业竞争激烈，要做好一个平台需要长期的沉淀、稳定的团队和深厚的技术实力，通过长期积累在业内肯定是有良好的口碑。代理厂家的产品特性也会进行目标市场进行优化。例如有些代理厂家的产品适合挂机，有些代理厂家的产品适合刷量，有些代理厂家的产品适合数据采集分析，有些代理厂家的产品适合临时业务，有些代理厂家的产品适合企业业务。在确定购买代理产品之前，一定要多问问了解该代理厂家的情况。
这里推荐一款代理ip——代理云
他家可以白嫖1万IP测试，可以点击这个注册
这家代理IP不限制使用终端，支持账号密码验证,每天可使用不重复IP10万+，一次可提取1000个IP，不限制提取时间间隔,一秒5个并发和一秒1000个并发的效率，差距还是非常大的，代理云的IP池模式很好的隔绝了业务冲突，遍及全国200多个城市，千万级IP池，24小时自动去重，IP可用率超越95%，稳定、高效、高匿，具有强大的技术团队，7*24处理运用中的问题。
爬虫代理IP一般有三种类型，透明代理、普通匿名代理、高级匿名代理，假如使用的是透明代理和普通匿名代理，会被其他网站的服务器侦查到使用代理IP，便会受到限制，因此在爬虫的时候要选择高匿名代理。
使用HTTP代理IP爬虫的时候，被封IP的因素还有很多，例如cookie、UserAgent等没有清理，当到达目标网站设置的阈值后，IP便会被封。
访问目标网站的频率如果过快，也会被封IP，因为正常用户的访问频率会很低，访问过快便会被反爬虫策略识别的。
总的来说就是要使用高匿名的代理ip，对cookie、UserAgent等，降低爬取的速度，伪装成一个整的用户。
有用的，但是不同网站封ip策略不同，需要用的的代理ip类型也是不同的，不能盲目使用代理ip，需要根据网站封ip策略选择正确的代理ip，这里有一篇关于反爬策略与解决策略的文章，希望能够帮助到你。
前嗅大数据：前嗅教你大数据：常见的网站反爬策略与解决方案1 赞同 · 0 评论文章在爬虫工作中,我们不可避免的会遇到网页的反爬封锁,所以就有了爬虫的攻防,在攻和守之间两股力量不断的抗衡。接下来就讲讲使用爬虫时ip限制问题的六种方法！
方法1.
1、IP必须需要，如果有条件，建议一定要使用代理IP。
2、在有外网IP的机器上，部署爬虫代理服务器。
3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1、程序逻辑变化小，只需要代理功能。
2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2.
1、ADSL+脚本，监测是否被封，然后不断切换ip
2、设置查询频率限制 正统的做法是调用该网站提供的服务接口。
方法3.
1、useragent伪装和轮换
2、使用飞速云代理ip和轮换
3、cookies的处理，有的网站对登陆用户政策宽松些
方法4.
尽可能的模拟用户行为：
1、UserAgent经常换一换
2、访问时间间隔设长一点，访问时间设置为随机数；
3、访问页面的顺序也可以随机着来
方法5.
网站封的依据一般是单位时间内特定IP的访问次数.将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封.当然,这个前题采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.
方法6.
对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。
1、降低抓取频率，时间设置长一些，访问时间采用随机数
2、频繁切换UserAgent（模拟浏览器访问）
3、多页面数据，随机访问然后抓取数据
4、更换用户IP，这是最直接有效的方法！