爬虫设置http代理的方法

一、寻找代理IP

⭐推荐一款企业级爬虫ip代理--代理云,需要高并发,量大,有自己程序,软件的技术采购可以免费测试一下,价格优惠 ⭐

二、设置nginx

注:nginx目前只适用http代理,若要https代理,需寻找其他代理服务器,目前一般都需收费

1.下载nginx

2.下载后,解压缩

3.打开nginx的conf/nginx.conf文件(可使用记事本),在http{}中加入如下代码:

4.打开nginx

三、Chrome设置代理服务器

打开设置,找到代理

打开“代理服务器”选项,地址中输入代理IP,端口输入8888,然后保存即可。此时可以打开一个网页,看是否设置成功,若成功显示网页,即设置代理成功

四、requests库使用代理

显示结果成功