前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者： By
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
爬取了猪八戒上的一些数据可能是由于爬取的数据量有点多吧，结果我的IP被封了，需要自己手动来验证解封ip,但这显然阻止了我爬取更多的数据了。
下面是我写的爬取猪八戒的被封IP的代码
如何防止爬取数据的时候被网站封IP这里有一些套路.查了一些套路
1.修改请求头
之前的爬虫代码没有添加头部，这里我添加了头部，模拟成浏览器去访问网站
2.采用代理IP
当自己的ip被网站封了之后，只能采用代理ip的方式进行爬取，所以每次爬取的时候尽量用代理ip来爬取，封了代理还有代理。
生成代理ip,大家可以直接把这个代码拿去用
好了我用上面的代码给我生成了一批ip地址（有些ip地址可能无效，但只要不封我自己的ip就可以了,哈哈），然后我就可以在我的请求头部添加ip地址
给我们的请求添加代理ip
最后完整代码如下：
数据全部爬取出来了，且我的IP也没有被封。当然防止被封IP肯定不止这些了，这还需要进一步探索!