展开全部
找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。
使用爬虫时ip限制问题的六种方法。
方法1
1、IP必须需要，如果有条件，建议一定要使用代理IP。
2、在有外网IP的机器上，部署爬虫代理服务器。
3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1、程序逻辑变化小，只需要代理功能。
2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2
1、ADSL+脚本，监测是否被封，然后不断切换ip。
2、设置查询频率限制 正统的做法是调用该网站提供的服务接口。
方法3
1、useragent伪装和轮换。
2、使用雷电ip代理。
3、cookies的处理，有的网站对登陆用户政策宽松些。
方法4
尽可能的模拟用户行为：
1、UserAgent经常换一换。
2、访问时间间隔设长一点，访问时间设置为随机数。
3、访问页面的顺序也可以随机着来。
方法5
网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。
方法6
对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。
1、降低抓取频率，时间设置长一些，访问时间采用随机数。
2、频繁切换UserAgent（模拟浏览器访问）。
3、多页面数据，随机访问然后抓取数据。
4、更换用户IP，这是最直接有效的方法。
展开全部 很多人因为不够了解代理IP，总会以为用了代理IP，爬虫时就不会被限制，就可以一直稳定持续工作。然而，现实却是爬虫代理IP会常被封，爬虫工作也被迫中断。那么，爬虫代理IP被封有哪些原因呢?一、非高匿代理IP非高匿代理IP是指透明代理IP和普匿代理IP。透明代理IP会暴露机器的真实IP，普匿代理IP会暴露使用代理IP，两者都会暴露，容易受到限制。只有高匿名代理IP才是爬虫代理IP的最佳选择。二、请求频率过高爬虫任务一般比较大。为了按时完成任务，单位时间内的请求频率太高，会给目标网站服务器带来很大的压力，会容易受到限制。三、有规律地请求一些爬虫程序不会考虑这一点，每次请求所花的时间相同，非常有规律，因此很容易受到限制。四、单一IP请求次数过多单一的代理IP请求次数太多也是很容易受到限制的，一般的站点都会限制一个IP在24小时之内或更短时间内被允许访问的次数，超过的次数将受到限制。五、其他原因各站点的反爬策略各不相同，这需要爬虫工程师进行研究分析，制定相应的爬虫策略。