爬虫如何用ip代理爬取 该怎么选择ip代理
第一，爬虫的设计要点。
如果你想批量抓取一个网站，你需要建立一个自己的爬虫框架。建立之前，你应该考虑几个问题:避免被封IP、图像验证码识别、数据处理等。
相对简单的图片验证码可以通过pytesseract库自行编写识别程序，这只能识别简单的图片数据。滑动鼠标、滑块、动态图像验证码等更复杂的地方只能考虑购买编码平台进行识别。
对于数据处理，如果你发现你得到的数据被打乱了，解决办法就是识别它的打乱规律，或者通过源js代码获得通过pythonexecjs库或其他执行js库的数据提取。
第二，分布式爬虫解决方案。
为了实现批量抓取某一大站的数据，最好是通过维护4个队列。
1.url任务列-存储待捕获的url数据。
2.原始url队列-存储在捕获的网页中，但尚未处理。处理主要是检查是否需要捕获，是否重复捕获。
3.原始数据队列-存储的数据没有任何处理。
4.二手数据列-存储进入数据处理过程的待存储数据。
上述队列分别有4个监控执行任务的过程，即：
1、爬虫抓取过程-监控url任务队列，捕获网页数据，并将捕获的原始数据丢失到原始数据队列。
2.url处理过程:监控原始url队列，过滤异常url和重复捕获的url。
3.数据提取过程:监控原始数据队列，提取原始数据队列的关键数据包括新的网址和目标数据。
4.数据存储过程:将二手数据整理后存储在mongodb中。
推荐一个ip代理--代理云⭐他家可以白嫖1万IP测试，可以点击这个注册