爬虫工作,代理IP并发请求越大越好?

爬虫工作任务一般比较大,爬虫工作人员往往会部署分布式爬虫,多线程进行爬虫工作,往往会要求代理IP支持高并发工作。那么,代理IP的并发请求是否越大越好呢?

很多人选择代理IP时往往会要求并发请求越大越好,甚至是可以无限制并发的使用。但这根本不存在无限制并发的情况,因为代理服务器的资源是有限的,并发请求越大,访问速度越慢,甚至超时,严重时还会导致代理服务器不稳定,无法连接。

一个人使用的独享代理IP池还好,毕竟影响的只是自己;如果是共享代理IP池,一个人无限制并发的使用,将会影响所有共用一个代理IP池的用户。独享代理IP池虽然可以无限制并发使用,但IP量比较少,价格比较贵,而且并发太大了还是会影响速度甚至超时,从而影响自己的工作效率。

因此,代理IP的并发请求并非越大越好,那么是否越小越好呢?并发太大了会影响速度,影响爬虫工作的持续稳定性;并发太小了,工作效率会很低。因此,我们需要根据自身业务,合理设计爬虫策略,合理设置并发请求大小。

​h.shenlongip.com/