构建User-Agnet代理池

在编写爬虫程序时,一般都会构建一个User-Agent(用户代理)池,就是把多个浏览器的UA信息放进列表中,然后再从中随机选择。构建用户代理池,能够避免总是使用一个UA来访问网站,因为短时间内总使用一个UA高频率访问的网站,可能会引起网站的警觉,从而封杀掉IP。

广告http 服务器代理 http 的两种方式×

自定义UA代理池

构建代理池的方法也非常简单,在您的Pycharm工作目录中定义一个ua_info.py文件,并将以下UA信息以列表的形式粘贴到该文件中,如下所示:

ua_list =