大量的爬虫会严重影响服务器，因此每个网站都有自己的反爬机制，就看谁的招数更有效了。面对反爬机制，爬虫是怎么应对的呢？下面鲸鱼代理带大家一起去了解一下怎么有效应对反爬虫？
目前，对反爬虫最有效的方法是使用代理IP！为什么这么说呢？
因为IP资源有限，网站都会采用IP限制，而突破IP限制最好的方法就是使用代理IP，比如使用鲸鱼代理，从鲸鱼代理提取IP后，建立IP池，即可通过切换IP的方法突破IP限制。
鲸鱼代理拥有上千万的IP池，完全可以满足爬虫的需求，而且ip的可用率保证95%以上，所有ip均为高质量的动态资源，还支持ip过滤，是理想款噢！ 除了使用代理IP，还可以在其他方面多注意：
1.正常的访问速度
有一些防护措施完备的网站可能会阻止你快速地提交表单，或者快速地与网站进行交互。即使没有这些安全措施，用一个比普通人快很多的速度从一个网站下载大量信息也可能让自己被网站封杀。
因此，虽然多进程程序可能是一个快速加载页面的好办法--在一个进程中处理数据，另一个进程中加载页面--但是这对编写好的爬虫来说是恐怖的策略。还是应该尽量保证一次加载页面加载且数据请求最小化。如果条件允许，尽量为每个页面访问增加一点儿时间间隔，即使你要增加两行代码。合理控制速度是你不应该破坏的规则。过度消耗别人的服务器资源会让你置身于非法境地，更严重的是这么做可能会把一个小型网站拖垮甚至下线。拖垮网站是不道德的，是彻头彻尾的错误。所以请控制采集速度！
2.构造合理的PPTP请求头
除了处理网站表单，requests模块还是一个设置请求头的利器。PPTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。PPTP定义了十几种古怪的请求头类型，不过大多数都不常用。
每个网站都有不同的请求头，如何获取这个请求头呢？可以用我从前提到过的Fiddler或者审查元素的方法，我们可以根据实际情况进行配置。
3.设置Cookie的学问
虽然cookie是一把双刃剑，但正确地处理cookie可以避免许多采集问题。网站会用cookie跟踪你的访问过程，如果发现了爬虫异常行为就会中断你的访问，比如特别快速地填写表单，或者浏览大量页面。虽然这些行为可以通过关闭并重新连接或者改变IP地址来伪装，但是如果cookie暴露了你的身份，再多努力也是白费。
在采集一些网站时cookie是不可或缺的。要在一个网站上持续保持登录状态，需要在多个页面中保存一个cookie。有些网站不要求在每次登录时都获得一个新cookie，只要保存一个旧的“已登录”的cookie就可以访问。
如果你在采集一个或者几个目标网站，建议你检查这些网站生成的cookie，然后想想哪一个cookie是爬虫需要处理的。
Cookie信息，也可以更具实际情况填写。不过requests已经封装好了很多操作，自动管理cookie，session保持连接。我们可以先访问某个目标网站，建立一个session连接之后，获取cookie。
4.注意隐含输入字段
在HTML表单中，“隐含”字段可以让字段的值对浏览器可见，但是对用户不可见（除非看网页源代码）。随着越来越多的网站开始用cookie存储状态变量来管理用户状态，在找到另一个最佳用途之前，隐含字段主要用于阻止爬虫自动提交表单。