Scrapy爬虫设置代理ip
在应用爬虫的时候我们经常会遇到ip被封的情况，这样我们想要的数据就不能及时下载下来，那么怎么办呢？当然是使用代理ip了，下面来看看scrapy中怎么使用代理ip。
一、开放代理
二、使用独享代理
以上所有的代码都在middlewares.py中应用，然后在settings.py里面调用相应的类就可以了。
三、scrapy代码：
然后启动scrapy就可以了，打印出的结果就是已经更改的ip
这里推荐个ip代理——代理云，遍及全国200多个城市，千万级IP池，24小时自动去重，IP可用率超越95%，稳定、高效、高匿，具有强大的技术团队，7*24处理运用中的问题。而且代理云不限制使用终端，支持账号密码验证，填一段代码就直接解决了多终端的问题。业务成功率也不是问题，代理云的独享ip池，隔绝了业务冲突。Ip提取量也是很可观，每天可以用的ip量达到10万+而且不重复，单次可以提取到一千个ip，而且提取时间间隔也不限制。
现在点击注册还能免费领取一万代理IP